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内 容 提 要 


本 书 是 为 想 要 或 者 正在 使 用 Java 从 事 高 性 能 网 络 编程 的 人 而 写 的 ， 
循序 渐进 地 介绍 了 Netty 各 个 方面 的 内 容 。 


本 书 共 分 为 4 个 部 分 : 第 一 部 分 详细 地 介绍 Netty 的 相关 概念 以 及 核 
心 组 件 ， 第 二 部 分 介绍 自 定 义 协 议 经 常用 到 的 编 解 码 器 ， 第 三 部 分 介绍 
Netty 对 于 应 用 层 高 级 协议 的 文 持 ， 会 履 盖 稼 见 的 协议 及 其 在 实践 中 的 
应 用 ， 第 四 部 分 是 几 个 案例 研究 。 此 外 ， 附 录 部 分 还 会 简单 地 介绍 
Maven， 以 及 如 何 通 过 使 用 Maven 编 译 和 运行 本 书 中 的 示例 。 

阅读 本 书 不 需要 读者 精通 Java 网 络 和 并 发 编程 。 如 果 想 要 更 加 深入 


地 理解 本 书 背后 的 理念 以 及 Netty 源 码 本 吴 ， 可 以 系统 地 学 习 一 下 Java 网 
络 编程 、NIO、 并 发 和 异步 编程 以 及 相关 的 设计 模式 。 





Letter for Chinese Netty in Action 


It’s hard to imagine Netty in Action were published 1.5 years ago, it still 
feels like it was only yesterday. While it was a lot of work, it was a very 
rewarding experience and helped Netty and it’s Open Source Community to 
even grow more. When I started to work on Netty, which is over 7 years ago, 
I would never imagine that it would be so successful. 


Since the book was released, Netty became even more popular and these 
days is used by companies as Alibaba, Apple, Google, Facebook, Square, 
Twitter and many more. Such a wide adoption would never be possible 
without the Community as a whole, which not only provided patches and 
submitted bug-reports but also helped review code and helped us to 
understand better what use-cases needs to be handled. If you are not part of 
the Community yet, I hope to welcome you as part of it soon. 


When 何 品 contacted me and asked about the permission to translate the 
book to Chinese, I was caught by surprise. I never expected there would be 
enough interest in Netty ,that not only there would be a book in english but 
also that people are waiting for it to be available in other languages. To make 
a long story short, of course I accepted :) 


And this is now what you hold in your hands, which would not be 
possible without 何 品 . 


Enjoy... 
Norman Maurer 


Co-authors of the Netty in Action 


致 中 文 版 谈 着 


很 难 想象 《Netty in Action》 已 经 出 版 一 年 半 了 ， 仿 佛 一 切 就 在 昨 
日 。 虽 然 工 作 量 不 小 ， 但 是 (编写 本 书 ) 仍然 是 一 种 非常 有 回报 的 经 
历 ， 同 时 也 帮助 Netty 项 目 及 其 开源 社区 日 益 壮 大 。7 年 前 ， 当 我 开始 从 
事 Netty 方 面 的 工作 时 ， 我 根本 没有 想到 它 会 如 此 成 功 。 


自 本 书 出 版 以 来 ，Netty 变 得 愈 来 愈 流行 ， 如 今 ， 许 多 公司 (如 阿 
HEE, R, Aik, Facebook. Square. Twitter=) 都 相继 使 用 
Netty。 如 此 广泛 的 采用 自然 也 离 不 开 整个 Netty 社 区 ， 社 区 不 仅 提供 补 
丁 、 提 交 bug 报 告 ， 而 且 还 帮助 评审 代码 ， 并 帮助 我 们 理解 还 需要 更 好 
地 文 持 哪些 〈 生 产 上 的 ) 用 例 。 如 果 你 还 不 是 Netty 社 区 的 一 部 分 ， 我 
非常 期 竺 和 欢迎 你 加 入 。 

当 何 品 联系 我 ， 问 我 是 否 可 以 将 这 本 书 翻译 为 中 文 版 的 时 候 ， 我 大 
吃 一 怀 。 我 从 来 没有 想 过 Netty 会 如 此 受 关 注 ， 以 至 于 它 不 止 会 有 英文 
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Norman Maurer 


«Netty in Action》 作 者 之 一 


He Ouse 


现代 互联 网 架构 ， 分 布 式 系统 是 一 个 绕 不 开 的 话题 。 一 款 优 秀 的 网 
络 通信 框架 将 在 分 布 式 系统 的 构建 中 起 到 举足轻重 的 作用 。 其 中 ， 特 别 
出 名 的 有 SUN 公 司 的 Grizzly 框 架 、JBoss 的 XIO、Apache 的 MINA 以 及 赫 
赫 有 名 也 是 使 用 最 广泛 的 Netty 框 架 。 


再 要 指出 的 是 ， 网 络 通信 框架 的 优秀 不 仅仅 体现 在 性 能 和 效率 上 ， 
更 重要 的 体现 是 ， 是 否 能 够 屏蔽 撒 层 复杂 上 度 ， 编 程 模型 是 人 否 简单 易 懂 ， 
征 否 适用 更 多 的 应 用 场景 ， 以 及 开发 社区 是 否 活跃 。Netty 的 成 功 正 是 
很 好 地 满足 了 上 述 的 这 几 点 。 作 为 互联 网 从 业 人 员 ， 熟 芒 基 于 Netty 网 
络 编程 乃至 深入 理解 Netty 的 设计 和 实现 ， 对 于 无 论 是 自 研 系统 ， 还 是 
学 习 开 源 产 品 ， 都 有 很 大 的 帮助 。 


网 络 上 介绍 、 分 析 Netty 的 中 文 文章 不 少 ， 其 中 能 够 做 到 成 体系 介 
绍 ， 深 入 浅 出 ， 原 理应 用 并 重 的 窗 窗 。Manning 出 版 社 的 《Netty in 
Action》 是 一 本 出 色 的 Netty 教 程 。 通 过 对 这 本 书 的 学 习 ， 读 者 可 以 快速 
掌握 基于 Netty 的 编程 ， 以 及 框架 背后 的 设计 哲学 。 可 惜 一 直 没 有 国内 
出 版 社 引 进出 版 中 文 版 ， 像 我 这 样 的 瑞 文 匣 手 ， 只 能 人 硬 着 头皮 去 哺 喘 文 
版 本 ， 不 仪 学 得 慢 ， 有 些 章节 还 不 能 很 好 地 领会 作者 的 意图 。 


很 高 兴 地 得 知 这 本 经 典 著 作 要 在 国内 出 版 中 文 版 ， 并 且 是 由 对 
Netty 研 究 很 深 的 工程 师 一 一 何 品 一 一 翻译 的 。 我 和 何 品 打 过 几 次 区 
道 ， 深 入 探讨 过 分 布 式 架 构 以 及 网 络 通信 框架 方面 的 话题 ， 受 荔 民 多 。 
同时 ， 也 很 惊讶 于 何 品 对 拉 术 的 痢 迷 ， 以 及 他 的 技术 深度 和 广度 。 诚 的 
地 邀请 他 加 入 我 们 团队 未 果 ， 甚 为 遗憾 。 十 分 期 竺 这 本 书 能 很 快 出 版 发 
行 ， 相 信 本 书 中 文 版 的 出 版 对 投 吴 互联 网 系统 开发 的 工程 师 快 速 掌 握 
Netty 会 有 很 大 的 帮助 。 















































PRL 
阿里 巴巴 中 间 件 技术 部 高 级 技术 专家 


译 者 序 


我 对 于 Netty 的 接触 始 于 2012 年 的 工作 ， 那 时 需要 处 理 一 些 自 定义 
协议 相关 的 内 容 ， 对 于 技术 的 热情 激发 了 我 对 于 Netty 源 代码 的 学 习 ， 
并 促使 我 后 续 更 加 系统 地 学 习 了 很 多 相关 的 知识 。 但 是 苦于 缺乏 相关 中 
文 资 料 以 及 系统 性 的 指导 ， 使 得 我 在 最 终 能 够 看 懂 Netty 源 代码 并 且 为 
Netty 项 目 做 出 贡献 之 前 ， 花 费 了 大 量 的 时 间 ， 走 了 很 多 的 弯路 ， 这 样 
的 弯路 自然 也 是 充满 苦楚 和 和 寂 落 的 。 


在 后 来 又 接触 到 了 Play 和 Akka， 并 且 在 得 知 了 这 些 高 性 能 网 络 编程 
和 并 发 框架 的 底层 正 是 基于 Netty 的 时 候 ， 更 是 让 我 肯定 了 自己 过 去 的 
HA, Netty FTW! 那 时 ， 正 值 Netty 4 重 写 ， 从 源头 改善 了 很 多 问题 ， 
提供 了 更 好 的 并 发 模型 ， 进 一 步 降低 了 GC 消 耗 。 在 跟 进 Netty 4 的 开发 
过 程 的 同时 ， 我 也 不 断 地 丰富 自己 的 知识 和 经 验 ， 并 打开 了 我 后 续 职业 
生涯 的 大 门 。 再 后 来 ， 当 我 得 知 Norman 正 在 编写 一 本 关于 Netty 的 书 的 
时 候 ， 非 党 激动， 最 终 得 以 恋 到 本 书 的 MEAP 版 本 ， 并 能 够 有 和 圣 参 与 这 
本 书 的 翻译 工作 。 


这 本 书 循序 渐进 、 系 统 性 地 讲解 了 Netty 的 各 个 组 件 ， 以 及 其 背后 
的 设计 哲学 ， 并 且 对 于 想 要 深入 理解 Netty 源 代码 的 读者 给 出 了 相应 的 
指导 。 难 能 可 贵 的 是 ， 这 本 书 还 附带 了 5 个 由 行业 一 线 公 司 撰写 的 Netty 
在 实践 中 的 案例 研究 ， 并 贴心 地 准备 了 一 个 Maven 相 关 的 介绍 。 


本 书 的 翻译 经 历 了 两 个 夏天 和 两 个 冬天 “MEAP 版 开始 同步 翻 
译 ) 。 为 了 能 给 大 家 呈现 一 个 尽 可 能 完善 的 中 文 版 译本 ， 我 尽 可 能 地 使 
用 了 最 新 的 原版 书稿 ， 并 就 书 中 的 内 容 和 原作 者 进行 了 积极 的 沟通 。 但 
是 碍 于 个 人 水 平 有 限 ， 一 些 丝 漏 还 请 大 家 通过 
https://github.com/ReactivePlatform/ ”netty-in-action-cn 和 我 取得 联系 ， 也 
欢迎 大 家 与 我 讨论 书 中 代码 清单 相关 的 问题 。 


最 后 ， 我 要 感谢 本 书 的 编辑 的 耐心 和 悉心 指导 ， 感 谢 帮 我 牵线 的 
IfoQ 的 贼 秀 涛 ， 以 及 帮 我 审读 了 这 本 书 的 朋友 们 。 当 然 ， 还 要 感谢 我 























a 在 他 们 的 支持 和 理解 下 ， 这 本 书 才 得 以 完成 ， 并 呈现 在 大 家 的 
前 。 








fim “目前 是 淘宝 的 一 名 资深 软件 工程 师 ， 热 爱 网 络 、 并 发 、 异 步 
相关 的 主题 以 及 函数 式 编程 ， 同 时 也 是 Netty、Akka 等 项 目的 贡献 者 ， 
活跃 于 Scala 社 区 ， 目 前 也 在 从 事 GraphQL 相 关 的 开发 工作 。 
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曾经 人 们 认为 Web 应 用 服务 器 将 会 让 我 们 忘记 如 何 编写 HTTP 或 者 
RPC 服 务 器 。 不 幸 的 是 ， 这 个 白 日 梦 并 没有 持续 多 久 。 我 们 正在 处 理 的 
负载 量 以 及 功能 变化 的 速度 一 直 在 不 断 地 增加 ， 超 出 了 传统 的 三 层 体系 
结构 的 承受 能 力 ， 我 们 正 被 迫 将 应 用 程序 切 分 成 很 多 块 ， 并 分 发 到 更 大 
9 机 器 集群 中 。 


运行 一 个 如 此 庞大 的 分 布 式 系统 引发 了 两 个 有 趣 的 问题 : 运行 成 本 
和 延迟 。 如 果 我 们 将 单个 节点 的 性 能 提高 30%， 或 者 甚至 超过 100%， 那 
么 我 们 可 以 节省 多 少 台 机 器 呢 ? 当 一 个 来 自 Web 浏 览 器 的 查询 触发 了 几 
十 个 跨越 了 很 多 不 同 机 器 的 内 部 远程 过 程 调用 时 ， 我 们 如 何 能 达到 最 低 
的 延迟 呢 ? 


在 本 书 ( 第 一 本 关于 Netty 项 目的 书 ) 中 ，Norman Maurer (Netty 的 
核心 贡献 者 之 一 ) 通过 展示 如 何 使 用 Netty 构 建 高 性 能 、 低 延迟 的 网 络 
应 用 程序 ， 给 出 了 这 些 问 题 的 最 终 答 案 。 读 完 这 本 书 ， 你 就 能 够 构建 所 
i e 从 轻 量 级 的 HITP 服 务 器 到 高 度 定制 化 的 
RPCHR A ait 6 


本 书 之 所 以 能 令 人 印象 深刻 ， 一 方面 是 因为 它 是 由 知晓 Netty 每 个 
细节 的 核心 贡献 者 编写 的 ， 另 一 方面 是 因为 它 包 含 了 几 家 在 其 生产 系统 
中 使 用 了 Netty 的 公司 (Twitter、Facebook 和 Firebase 等 ) 的 案例 研究 。 
我 相信 ， 通 过 展示 这 些 使 用 它们 的 公司 是 如 何 能 够 释放 他 们 基于 Netty 
的 应 用 程序 的 能 力 的 ， 这 些 案 例 研 究 将 会 启迪 你 。 


你 可 能 会 惊奇 地 发 现 ， 早 在 2001 年 ，Netty 只 是 我 的 个 人 项 目 ， 当 
时 我 是 一 名 本 科 生 Chttp:/t.motd.kr/ko/archives/1930) ， 而 今天 这 个 项 
目 仍然 还 在 并 且 还 充满 了 活力 ， 感 谢 像 Norman 这 样 的 热心 的 贡献 者 
们 ， 他 们 花 了 许多 个 不 眠 之 夜来 致力 于 该 项 目 
Chttp:/netty.io/community.html) 。 我 希望 通过 辟 励 本 书 的 读者 来 贡献 
项 目 ， 打 开 访 项 目的 另 一 个 篇 章 ， 继 续 “ 打 开 网 络 编程 的 未 来 ”。 

















Trustin Lee 


Netty 项 目 创始 人 


到 
Dil 


回首 过 去 ， 我 仍然 不 敢 相信 我 做 到 了 。 


当 我 从 2011 年 年 末 开 始 为 Netty 做 贡献 时 ， 我 怎么 也 想不到 我 会 与 
一 本 关于 Netty 的 书 ， 并 且 成 为 该 框架 本 号 的 核心 开发 者 之 一 。 


这 一 切 都 始 于 我 在 2009 年 参与 的 Apache James 项 目 ， 一 个 在 Apache 
软件 基金 会 下 开发 的 基于 Java 的 邮件 服务 器 。 


像 许多 应 用 程序 一 样 ，Apache James 需 要 构建 在 一 个 坚实 的 网 络 抽 
象 之 上 。 在 考察 提供 网 络 抽象 的 项 目 领 域 时 ， 我 偶然 地 发 现 了 Netty， 
并 且 立 即 就 爱 上 了 它 。 在 我 从 用 户 的 角度 更 加 地 熟悉 了 Netty 之 后 ， 我 
便 开 始 转 同 改 进 它 和 回馈 社区 。 


尽管 我 第 一 次 贡献 的 范围 有 限 ， 但 是 很 快 变 得 明显 的 是 ， 进 行 贡献 
以 及 和 社区 进行 相关 问题 的 讨论 ， 尤 其 是 和 项 目的 创始 人 Trustin Lee, 
对 于 我 的 个 人 成 长 非常 有 益 。 这 样 的 经 验 牢 牢 地 吸引 了 我 ， 我 喜欢 将 我 
的 空 亲 时 间 更 多 地 投入 到 社区 中 。 我 在 邮件 列表 上 提供 帮助 ， 并 且 加 入 
致力 于 Netty 开 始 是 一 种 爱好 ， 但 很 快 就 演变 成 了 一 
激情 。 


我 对 Netty 的 激情 最 终 导致 我 在 Red Hat 就 业 。 这 简直 是 美梦 成 真 ， 
因为 Red Hat 雇 佣 我 来 致力 于 我 所 热爱 的 项 目 。 我 最 终 知 道 了 Claus Ibsen 
在 那 时 正 〈 现 在 仍然 ) 致力 于 Apache ”Camel。Claus 和 我 认识 到 ， 虽 然 
Netty 拥 有 坚实 的 用 户 基 础 以 及 良好 的 JavaDoc， 但 是 它 缺 乏 一 个 更 加 高 
级 别 的 文档 。Claus 是 《Camel in Action) (Manning, 2010) 的 作者 ， 
他 给 了 我 为 Netty 写 一 本 类 似 的 书 的 想法 。 关 于 这 个 想法 ， 我 考虑 了 几 
个 星期 ， 最 终 接受 了 。 这 也 就 有 了 本 书 。 


在 编写 本 书 的 过 程 中 ， 我 也 越 来 越 多 地 参与 到 了 社区 中 。 伴 随 着 超 
过 1000 次 的 提交 出 ， 我 最 终 成 为 了 仅 次 于 Trustin ”Lee 的 最 活跃 的 贡献 








者 。 我 经 常 在 世界 各 地 的 各 种 会 议 以 及 技术 聚会 上 演讲 Netty。 最 终 
Netty 打 开 了 另 一 个 在 华 果 公司 的 就 业 机 会 ， 我 目前 在 云 基础 设施 工程 
团队 (Cloud Infrastructure Engineering Team) 担任 资深 软件 工程 师 。 我 
继续 致力 于 Netty， 并 且 经 常 页 献 回 馈 社 区 ， 同 时 也 帮助 推动 该 项 目 。 





Norman Maurer 


苹果 公司 ， 云 基础 设施 工程 


我 在 马萨诸塞 州 韦 斯 顿 的 Harvard Pilgrim Health ” Care 担任 Dell 
Services 的 顾问 时 ， 融 主要 侧重 于 构建 可 复 用 的 基础 设施 组 件 。 我 们 的 
目标 是 找到 这 样 一 种 扩展 通用 代码 库 的 方式 : 它 不 仅 对 通常 的 软件 过 程 
有 利 ， 而 且 还 能 将 应 用 程序 开发 者 从 编写 既 态 烦 又 平凡 的 管道 代码 
(plumbing code) 的 贡 任 中 解脱 出 来 。 


我 一 度 友 现 ， 有 两 个 相关 的 项 目 都 在 使 用 一 个 第 三 方 的 理赔 处 理 系 
统 ， 访 系统 只 文 持 直接 的 TCP/IP 遂 信 。 其 中 一 个 项 目 需 要 使 用 Java 重 新 
实现 一 个 文档 不 太 详 细 的 构建 在 供应 商 的 专 有 的 基于 分 阳 的 格式 上 的 遗 
留 COBOL 模 块 。 这 个 模块 最 终 个 男 一 个 项 目 取代 了 ， 那 个 项 目 将 使 用 
较 新 的 基于 XML 的 接口 来 连接 到 该 相同 理赔 系统 上 。 《但 是 使 用 的 仍 
然 是 裸 侠 接 字 ， 而 不 是 SOAP! ) 


在 我 看 来 ， 这 是 一 个 理想 的 开发 一 个 通用 API 的 机 会 ， 而 且 也 充满 
了 乐趣 。 我 知道 将 会 有 严格 的 吞吐 量 和 可 靠 性 要 求 ， 并 且 设 计 也 仍然 在 
不 断 地 演进 。 显 然 ， 为 了 支持 快速 的 迭代 周期 ， 底 层 的 网 络 代码 必须 完 
全 和 业务 逻辑 解 耦 。 


我 对 于 Java 的 高 性 能 网 络 编程 框架 的 调研 把 我 直接 带 到 了 Netty 面 
前 。《 在 第 1 章 开 头 读者 会 读 到 一 个 假设 的 项 目 ， 它 其 实 基 本 上 取材 目 
现实 生活 。) 我 很 快 就 确信 了 Netty 的 方式 ， 使 用 可 动态 配置 的 编码 器 
和 解码 器 ， 能 够 完美 地 满足 我 们 的 需求 : 两 个 项 目 将 可 以 使 用 相同 的 
API， 并 部 团 所 使 用 的 特定 数据 格式 所 需 的 处 理 右 。 在 我 友 现 该 供应 商 
的 产品 也 是 基于 Netty 的 之 后 ， 我 变 得 更 加 坚信 了 ! 


就 在 那 时 ， 我 得 知 有 一 本 我 一 直 都 在 期 待 的 叫 《Netty 实 战 》 的 书 
正在 编写 中 。 我 读 了 早期 的 书 稳 ， 并 带 看 一 些 问题 和 建议 很 快 和 




















Norman 取 得 了 联系 。 在 我 们 多 次 的 交流 过 程 中 ， 我 们 常常 会 谈 到 要 记 
住 最 终 用 户 的 视角 ， 而 且 因 为 我 当时 正在 参与 一 个 实 实在 在 的 Netty 项 
目 ， 所 以 我 很 高 兴 地 担当 了 这 个 〈 合 著者 /最 终 用 户 ) 角色 。 


我 希望 ， 通 过 这 种 方式 ， 我 们 能 够 成 功 地 满足 开发 者 们 的 需求 。 如 
果 您 有 任何 关于 我 们 如 何 能 够 使 得 本 书 变 得 更 加 有 用 的 建议 ， 请 
在 https://forums.manning.com/forums/netty-in-action 联 系 我 们 。 











Marvin Allen Wolfthal 


Dell Services 





[1 截至 中 文 版 出 版 前 ， 已 经 超过 2000 次 提交 了 。 一 一 译 者 注 
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Netty aX Hd T AER A r PE BE HY EMH TET WJavatiiZe. “Ee 
装 了 网 络 编程 的 复杂 性 ， 使 网 络 编程 和 Web 技 术 的 最 新 进展 能 够 被 比 以 
往 更 广泛 的 开发 人 员 接 触 到 。 


Netty 不 只 是 一 个 接口 和 类 的 集合 ， 它 还 定义 了 一 种 架构 模型 以 及 
一 套 丰富 的 设计 模式 。 但 是 直到 现在 ， 依 然 缺 乏 一 个 全 面 的 、 系 统 性 的 
用 户 指南 ， 已 经 成 为 入 门 Netty 的 一 个 障碍 ， 这 种 情况 也 是 本 书 旨 在 改 
变 的 。 除 了 解释 该 框架 的 组 件 以 及 API 的 详细 信息 之 外 ， 本 书 还 会 展示 
We 


谁 应 该 阅读 本 书 

本 书 假定 读者 熟悉 中 等 级 别 的 Java 主 题 ， 如 泛 型 和 多 线程 处 理 。 不 
要 求 有 高 级 网 络 编程 的 经 验 ， 但 是 熟悉 基本 的 Java 网 络 编程 API 将 大 有 
神 益 。 

Netty 使 用 Apache ”Maven 作 为 它 的 构建 管理 工具 。 如 果 读 者 还 未 使 
用 过 Maven， 那 么 附录 将 会 为 读者 提供 运行 本 书 示 例 代 码 所 需要 的 信 


息 。 读 者 也 可 以 复 用 这 些 示 例 的 Maven 配 置 ， 作 为 自己 的 基于 Netty 的 项 
目的 起 点 。 


本 书 共 分 4 个 部 分 ， 且 有 一 个 附录 。 
第 一 部 分 ， Netty 的 概念 及 体系 结构 


第 一 部 分 是 对 框架 的 详细 介绍 ， 涵 盖 了 它 的 设计 、 组 件 以 及 编程 接 


第 1 章 首先 简要 概述 了 阻塞 和 非 阻 塞 的 网 络 API， 以 及 它们 对 应 的 
JDK 接 口 。 我 们 引入 Netty 作 为 构建 高 度 可 伸缩 的 、 异 步 的 、 事 件 驱 动 的 
网 络 编 程 应 用 的 工具 包 。 我 们 将 首先 看 一 下 该 框架 的 基础 构件 
He: channel、 回 调 、Future、 事 件 及 channeLHandler。 


第 2 章 解 释 了 如 何 配置 读者 的 系统 以 构建 并 运行 本 书 中 的 示例 代 
码 。 我 们 将 用 一 个 简单 的 应 用 程序 来 测试 它 ， 这 是 一 个 回 送 从 连接 的 客 
户 端 接 收 到 的 消 恩 的 服务 器 应 用 程序 。 我 们 还 介绍 了 引导 
(Bootstrap) 在 运行 时 组 装 和 配置 一 个 应 用 程序 的 所 有 组 件 的 过 


程 。 





第 3 章 首 先 讨论 了 Netty 的 技术 以 及 体系 结构 方面 的 内 容 。 介 绍 了 该 
框架 的 核心 组 件 : channel、 EventLoop、 channelHandler 以 及 
channelpPipeline。 这 一 章 的 最 后 解释 了 引导 服务 器 和 客户 端 之 间 的 差 
已 


FF o 


第 4 章 讨 论 了 网 络 传输 ， 并 且 对 比 了 通过 JDK API 和 Netty 使 用 阻塞 
和 非 阻塞 传输 的 用 法 。 我 们 研究 了 Netty 的 传输 API 的 底层 接口 的 层级 关 
系 以 及 它们 所 文 持 的 传输 类 型 。 


第 5 章 专 门 介绍 了 该 框架 的 数据 处 理 API- ByteBuf，Netty 的 字 节 
容器 。 我 们 描述 了 它 相 对 于 JDK 的 ByteBuffer 的 优势 ， 以 及 如 何 分 配 和 
a 由 ByteBuf 所 使 用 的 内 存 。 我 们 展示 了 如 何 通 过 引用 计数 来 管理 内 
子 资源 。 


第 6 章 重 点 介绍 了 核心 组 件 channelHandler 和 CchannelPipeline， 它 
们 负 贡 调度 应 用 程序 的 处 理 逻 辑 ， 并 张 动 数 据 和 事件 经 过 网 络 层 。 其 他 
的 主题 包括 在 实现 高 级 用 例 时 channelHandlercontext 的 角色 ， 以 及 在 
多 个 channelPipeline 之 间 共 享 channelHandler 的 缘由 。 这 一 章 的 最 后 说 


明了 如 何 处 理由 入 站 事件 和 出 站 事件 所 触 发 的 异 关 。 


第 7 章 提供 了 关于 线程 模型 的 一 般 概述 ， 并 详细 地 介绍 了 Netty 的 线 
程 模 型 。 我 们 研究 了 interface EventLoop， 它 是 Netty 的 并 发 API 的 主要 
部 分 ， 并 解释 了 它 和 线程 以 及 channel 的 关系 。 这 个 信息 对 于 理解 Netty 
是 如 何 实现 异步 的 、 事 件 驱 动 的 网 络 编程 模型 来 说 至 关 重 要 。 我 们 展示 

















了 如 何 通 过 EventLoop 进 行 任务 调度 。 


第 8 章 以 介绍 Bootstrap 类 的 层级 结构 作为 引子 ， 深 入 地 讲解 了 引 
导 。 我 们 重新 审视 了 一 些 基 本 用 例 以 及 一 些 特 殊 用 例 ， 例 如 ， 在 一 个 服 
务 器 应 用 程序 中 引导 一 个 客户 端 连接 、 引 导数 据 报 channel， 以 及 在 引 
导 的 过 程 中 添加 多 个 channeLHandler。 这 一 章 最 后 讨论 了 如 何 优 雅 地 关 
闭 应 用 程序 并 有 序 地 释放 所 有 的 资源 。 


第 9 章 是 关于 对 channelHandler 进 行 单元 测试 的 讨论 ， 对 此 Netty 提 
供 了 一 个 特殊 的 channel 实 现 Embeddedchanne1。 本 章 的 示例 展示 了 
如 何 使 用 这 个 类 和 JUnit 一 起 来 测试 入 站 和 出 站 channelHandler 实 现 。 


第 二 部 分 : 编 解 公 器 


数据 转换 是 网 络 编程 中 最 常见 的 操作 之 一 。 第 二 部 分 介绍 了 Netty 
提供 的 用 于 简化 这 一 任务 的 丰富 的 工具 集 。 


第 10 章 首先 解释 了 解码 堪 和 编码 器 ， 它 们 将 字 节 序列 从 一 种 格式 转 
换 为 另外 一 种 格式 。 一 个 无 处 不 在 的 例子 便 是 将 一 个 非 结 构 化 的 字 节 流 
转换 为 一 个 特定 于 协议 的 布局 结构 ， 或 者 相反 的 。 编 解码 器 则 是 一 个 结 
合 了 编码 器 以 及 解码 器 以 处 理 双 回转 换 的 组 件 。 我 们 提供 了 几 个 例子 ， 
么 地 容易 。 


第 11 章 研究 了 Netty 提 供 的 用 于 各 种 用 例 的 编 解 码 器 以 及 
channelHandler。 这 些 类 包括 用 于 协议 的 (如 SSL/TLS、 
HTTP/HTTPS、WebSocket 以 及 SPDY ) 即 用 型 的 编 解 码 器 ， 以 及 能 够 通 
过 扩展 来 处 理 几 乎 任意 的 基于 分 隅 符 的 协议 、 变 长 协议 或 者 定 长 协议 的 
o 


第 三 部 分 : 网 络 协议 

第 三 部 分 详细 阐述 了 几 种 本 书 前面 简 要 介绍 过 的 网 络 协议 。 我 们 将 
会 再 次 看 到 Netty 是 如 何 使 你 能 在 自己 的 应 用 程序 中 轻松 采用 复杂 的 
API， 而 又 不 必 关 心 其 内 部 复杂 性 的 。 


第 12 章 展示 了 如 何 使 用 WebSocket 协 议 来 实现 Web 服 务 器 和 客户 端 
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用 户 与 其 他 已 连接 的 用 户 进行 实时 通信 。 


第 13 章 通过 利用 了 用 户 数据 报 协议 CUDP) 的 广播 能 力 的 服务 器 和 
客户 问 应 用 程序 ， 说 明了 Netty 对 于 无 连接 协议 的 支持 。 如 同 前 面 的 那 
些 示例 一 样 ， 我 们 使 用 了 一 组 特定 于 协议 的 支持 类 : DatagramPacket 和 


NioDatagramChannel。 
第 四 部 分 : 案例 研究 

第 四 部 分 介绍 了 由 使 用 Netty 实 现 了 任务 关键 型 系统 的 知名 公司 提 
交 的 5 份 案例 研究 。 这 些 案 例 不 仅 说 明了 我 们 在 整 本 书 中 所 讨论 过 的 框 
染 各 个 组 件 在 现实 世界 中 的 应 用 ， 而 且 还 演示 了 Netty 的 设计 以 及 染 构 
原则 ， 在 构建 高 度 可 伸缩 和 可 扩展 的 应 用 程序 方面 的 应 用 。 


第 14 章 有 Droplr、Firebase 以 及 Urban Airship 提 交 的 案例 研究 。 





第 15 章 有 Facebook 和 Twitter 提交 的 案例 研究 。 
附录 : Maven 介 绍 

该 附录 的 主要 目的 是 提供 一 个 对 于 Apache Maven 的 基本 介绍 ， 以 便 
读者 可 以 编译 和 运行 本 书 的 示例 代码 清单 ， 并 在 开始 使 用 Netty 时 扩展 
它们 来 创建 自己 的 项 目 。 


介绍 了 以 下 主题 


。 Maven 的 主要 目标 和 用 途 ; 
。 安装 以 及 配置 Maven:; 
POM 文 件 、 构 件 、 坐 标 、 依 赖 、 插 件 及 存储 


e Maven 的 基本 概念 

库 ; 
e Maven 配 置 的 示例 ，POM 的 继承 以 及 聚合 ; 
e Maven 的 命令 行 语法 。 


代码 约定 和 下 载 





这 本 书 提 供 了 丰富 的 示例 ， 说 明了 如 何 利 用 每 个 涵盖 的 主题 。 为 了 
将 代码 和 普通 文本 区 分 开 ， 代 码 清单 或 者 正文 中 的 代码 都 是 以 等 宽 字 体 
(如 fixed-width font like this) 显示 的 。 此 外 ， 正 文中 的 类 和 方法 
名 、 对 象 属 性 以 及 其 他 代码 相关 的 术语 和 内 容 也 都 以 等 宽 字 体 呈 现 。 


俩 尔 ， 代 码 是 斜体 的 ， 如 reference.dump()。 在 这 种 情况 下 ， 不 要 
逐 字 输入 reference， 要 把 它 蔡 换 为 所 需 的 内 容 。 


本 书 的 源 代码 可 以 从 出 版 商 的 网 站 www.manning.com/books/netty- 
in-action 以 及 GitHub 的 项 目地 址 https://github.com/normanmaurer/netty-in- 
action 获 取出 。 我 们 将 源 代码 构造 成 了 一 个 多 模块 的 Maven 项 目 ， 其 中 包 
含 一 个 顶级 POM 和 多 个 对 应 于 本 书 各 童 的 模块 。 
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Norman Maurer 四 是 Netty 的 核心 开发 人 员 之 一 ，Apache 软 件 基 金 
会 的 一 员 。 在 过 去 的 几 年 ， 他 还 是 很 多 开源 项 目的 贡献 者 。 他 是 Apple 
公司 的 一 名 资深 软件 工程 师 ，Netty 和 其 他 网 络 相关 的 项 目 是 他 在 iCloud 
队 的 工作 内 容 。 


Marvin WolfthalB 作 为 开发 者 、 架 构 师 、 讲 师 和 作者 一 直 活 跃 在 多 
个 软件 开发 领域 。 他 很 早 就 开始 使 用 Java， 并 且 协 助 Sun 开 发 了 它 第 一 
批 致力 于 促进 分 布 式 对 象 技术 的 程序 。 作 为 这 些 努 力 的 一 部 分 ， 他 使 用 
C++、jJava 和 CORBA 为 Sun _ Education 编写 了 第 一 套路 语言 的 编程 课程 。 
从 那 时 起 ， 他 的 主要 关注 点 束 一 直 是 中 间 件 的 设计 和 开发 ， 主 要 针对 金 
融 行业 。 他 目前 是 Dell Services 的 一 名 顾问 ， 致 力 于 将 Java 世 界 中 产生 的 
方法 论 拓 展 到 其 他 的 企业 计算 领域 中 ， 例 如 ， 将 持续 集成 的 实践 应 用 到 
数据 库 的 开发 中 。Marvin 还 是 钢 侈 家 和 作曲 家 ， 他 的 作品 已 由 维也纳 的 
Universal ”Edition 公 司 发 行内 。 他 和 他 的 妻子 凯瑟琳 以 及 他 们 的 3 只 猫 伙 
伴 Fritz、Wily 和 Robbie 住 在 马萨诸塞 州 的 圳 斯 顿 。 
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购买 本 书 的 读者 可 以 免费 访问 Manning 出 版 社 运 营 的 一 个 私有 Web 
论坛 是 ， 在 那里 ， 可 以 评论 本 书 、 提 技术 问题 ， 还 可 以 获得 作者 和 其 他 


用 户 的 帮助 。 如 有 果 要 访问 或 者 订阅 该 论坛 ， 可 以 用 Web 浏 览 器 访问 
www.manning.com/books/netty-in-action。 这 个 页 面 提供 了 以 下 信息 : 注 
册 之 后 如 何 访问 论坛 ， 可 以 获得 什么 样 的 帮助 ， 该 论坛 的 一 些 行为 准 
则 ;本 书 示例 的 源 代码 的 链接 、 勘 误 表 以 及 其 他 的 下 载 资源 。 


Manning 承 话 为 我 们 的 读者 提供 一 个 交流 场所 ， 在 那里 读者 之 间 以 
及 读者 和 作者 之 间 可 以 进行 有 意义 的 对 话 。 但 是 对 于 作者 方面 的 参与 并 
没有 做 任何 数量 上 的 承 话 ， 作 者 对 于 作者 在 线 CAO) 的 贡献 仍然 是 目 
愿 的 《和 无 偿 的 ) 。 我 们 建议 你 回 作 者 提 一 些 襄 有 挑战 性 的 问题 ， 以 免 
他 们 没 兴趣 回答 ! 


只 要 这 本 书 尚 未 绝版 ， 殊 可 以 从 出 版 社 的 网 站 上 访问 到 作者 在 线 论 
坛 以 及 之 前 讨论 的 存盘 。 














[1 本 书 中 文 版 的 源 代码 可 以 从 GitHub 的 项 目地 


址 href='https://github.com/ReactivePlatform/netty-in-action-cn 获 取 ， 也 可 
以 在 异步 社区 (www.epubit.com.cn〉 本 书页 面 下 载 。 PEGE 





[2] Norman Maurer 的 个 人 网 站 是 http://normanmaurer.me/， 在 这 里 可 以 找 
到 更 多 关于 Netty 的 讨论 。 译 者 注 





[3] Marvin Wolfthal 的 个 人 网 站 是 http://www.weichi.com/maw/。 一 一 译 者 
注 

[4] 唱片 的 在 线 试听 地 址 是 http://www.universaledition.com/composers- 
and-works/Marvin-Wolfthal/composer/4038 。 译 者 注 


[5] 本 书 中 文 版 的 读者 也 可 以 访问 本 书 在 录 步 社区 的 相应 页 面 。 一 一 译 
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者 注 
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本 书 封 面 上 的 插画 名 为 “卢森堡 地 区 的 居民 ”(A Resident of the 
Luxembourg Quarter) 。 该 插画 选 自 多 位 艺术 家 的 19 世 纪 作 品 集 ， 由 
Louis “Curmer 编 辑 ， 并 于 1841 年 在 巴黎 出 版 。 该 作品 集 的 标题 是 《Les 
Francais peints par eux-mémes》， 翻 译 过 来 是 法国 人民 的 自画像 ”。 
幅 插 画 都 是 手工 精细 绘制 和 着 色 的 ， 作 品 集中 丰富 多 样 的 作品 同 我 们 生 
动 地 展现 了 200 年 前 世界 上 各 个 区 域 、 城 镇 、 村 庄 以 及 居民 区 的 文化 是 
多 么 过 异 。 人 们 彼此 分 开 ， 讲 不 同 的 方言 和 语言 。 仪 仅 通 过 他 们 的 服饰 
就 能 够 很 容易 地 辨别 出 他 们 在 哪儿 生活 ， 住 在 城镇 里 还 是 住 在 乡下 、 干 
什么 工作 或 者 有 什么 样 的 生活 地 位 。 


自 那 以 后 ， 服 饰 的 风格 已 然 发 生 了 变化 ， 当 时 各 地 如 此 丰富 多 样 的 
风格 已 经 逐渐 消失 。 现 在 已 经 很 难 分 辨 不 同 大 洲 的 大 民 ， 更 别 说 区 分 不 
同城 镇 或 者 地 区 的 居民 了 。 也 许 我 们 使 用 文化 的 多 样 性 换取 了 更 加 多 样 
化 的 个 人 生活 一 一 当然 也 是 更 加 多 样 化 和 快 节奏 的 科技 生活 。 


在 很 难 将 一 本 计算 机 图 书 与 为 一 本 区 分 开 的 时 代 ，Manning 通 过 使 
用 基于 两 个 世纪 以 前 的 多 样 化 的 区 域 生 活 的 图 书 封面 ， 让 作品 集中 的 插 
oo 比如 这 一 幅 ， 借 以 来 赞美 计算 机 行业 的 创造 力 和 进取 精 
FH o 














第 一 部 分 “Netty 的 概念 及 体系 结构 


Netty 是 一 球 用 于 创建 高 性 能 网 络 应 用 程序 的 高 级 框 染 。 在 第 一 部 
分 ， 我 们 将 深入 地 探究 它 的 能 力 ， 并 且 在 3 个 主要 的 方面 进行 示例 : 





e 使 用 Netty 构 建 应 用 程序 ， 你 不 必 是 一 名 网 络 编 程 专家 ; 

e 使 用 Netty 比 直接 使 用 底层 的 Java API 容 易 得 多 ; 

° 0 例如 ， 将 你 的 应 用 程序 逻辑 和 网 络 层 
EAH o 


在 第 1 章 中 ， 我 们 将 首先 小 结 Java 网 络 编程 的 演化 过 程 。 在 我 们 回 
顾 了 异步 通信 和 事件 驱动 的 处 理 的 基本 概念 之 后 ， 我 们 将 首先 看 一 看 
Netty 的 核心 组 件 。 在 第 2 章 中 ， 你 将 能 够 构建 自己 的 第 一 球 基 于 Netty 的 
应 用 程序 ! 在 第 3 章 中 ， 你 将 打开 对 于 Netty 的 细致 探 究 之 旅 ， 从 它 的 核 
心 网 络 协议 (第 4 章 ) 以 及 数据 处 理 层 〈 第 5 章 和 第 6 章 ) 到 它 的 并 发 模 
型 (第 7 章 ) 。 


我 们 将 把 所 有 的 这 些 细 市 组 合 在 一 起 ， 对 第 一 部 分 进行 忆 结 。 你 将 
看 到 : 如 何在 运行 时 配置 基于 Netty 的 应 用 程序 的 各 个 组 件 ， 以 使 它们 
协同 工作 《〈 第 8 章 ) ，Netty 是 如 何 帮助 你 测试 你 的 应 用 程序 的 《第 9 
HL) 

















第 1 章 ”Netty 一 一 异步 和 事件 驱动 


。 Java 网 络 编程 
。 Netty 简 介 
e Netty 的 核心 组 件 


假设 你 正在 为 一 个 重要 的 大 型 公司 开发 一 球 全 新 的 任务 关键 型 的 应 
用 程序 。 在 第 一 次 会 议 上 ， 你 得 知 该 系统 必须 要 能 够 扩展 到 支撑 150 
000 名 并 发 用 户 ， 并 且 不 能 有 任何 的 性 能 损失 ， 这 时 所 有 的 目光 都 投 问 
了 你 。 你 会 怎么 说 呢 ? 

如 果 你 可 以 自信 地 说 :“ 当 然 ， 没 问题 。” 那 么 大 家 都 会 同 你 脱 帽 致 
敬 。 但 是 ， 我 们 大 多 数 人 可 能 会 采取 一 个 更 加 谨 惯 的 立场 ， 例 如 :“ 听 
上 去 是 可 行 的 。” 然 后 ， 一 回 到 计算 机 劳 ， 我 们 便 开 始 搜索 “high 


performance Java networking”( 高 性 能 Java 网 络 编程 ) 。 
如 果 你 现在 搜索 它 ， 在 第 一 页 结果 中 ， 你 将 会 看 到 下 面 的 内 容 : 





netty.io/ 


Netty 是 一 球 异 步 的 事件 驱动 的 网 络 应 用 程序 框 染 ， 文 持 快速 
地 开发 可 维护 的 高 性 能 的 面 癌 协议 的 服务 器 和 客户 端 。 


如 果 你 和 大 多 数 人 一 样 ， 通 过 这 样 的 方式 发 现 了 Netty， 那 么 你 的 
下 一 步 多 半 是 : 浏览 该 网 站 ， 下 载 源 代码 ， 人 和 仔细 阅 读 Javadoc 和 一 些 相 
关 的 博客 ， 然 后 写 点 儿 代码 试 试 。 如 果 你 已 经 有 了 扎实 的 网 络 编程 经 





验 ， 那 么 可 能 进展 还 不 错 ， 不 然则 可 能 是 一 头 雾 水 。 


ATT AME? 因为 像 我 们 例子 中 那样 的 高 性 能 系统 不 仅 要 求 超 一 
流 的 编程 技巧 ， 还 需要 几 个 复杂 领域 《网 络 编程 、 多 线程 处 理 和 并 发 ) 
的 专业 知识 。Netty 优 雅 地 处 理 了 这 些 领 域 的 知识 ， 使 得 即使 是 网 络 编 
程 新 手 也 能 使 用 。 但 到 目前 为 止 ， 由 于 还 缺乏 一 本 全 面 的 指南 ， 使 得 对 
它 的 学 习 过 程 比 实际 需要 的 艰 涩 得 多 一 一 因此 便 有 了 这 本 书 。 


我 们 编写 这 本 书 的 主要 目的 是 : 使 得 Netty 能 够 尽 可 能 多 地 被 更 加 
广泛 的 开发 者 采用 。 这 也 包括 那些 拥有 创新 的 内 容 或 者 服务 ， 却 没有 时 
间或 者 兴趣 成 为 网 络 编程 专家 的 人 。 如 果 这 适用 于 你 ， 我 们 相信 你 将 会 
非常 惊讶 自己 这 么 快 便 可 以 开始 创建 你 的 第 一 球 基 于 Netty 的 应 用 程序 
了 。 当 然 在 为 一 个 层面 上 讲 ， 我 们 也 需要 支持 那些 正在 寻找 工具 来 创建 
他 们 自己 的 网 络 协议 的 高 级 从 业 人 员 。 


Netty 确 实 提供 了 极为 丰富 的 网 络 编程 工具 集 ， 我 们 将 花 大 部 分 的 
时 间 来 探究 它 的 能 力 。 但 是 ，Netty 终 究 是 一 个 框架 ， 它 的 架构 方法 和 
设计 原则 是 : 每 个 小 点 都 和 它 的 技术 性 内 容 一 样 重要 ， 穷 其 精妙 。 因 
此 ， 我 们 也 将 探讨 很 多 其 他 方面 的 内 容 ， 例 如 : 








。 天 注 点 分 离 一 一 业务 和 网 络 逻 辑 解 稍 ; 
。 模块 化 和 可 复 用 性 ; 
。 可 测试 性 作为 首要 的 要 求 。 


在 这 第 1 章 中 ， 我 们 将 从 一 些 与 高 性 能 网 络 编程 相关 的 背景 知识 开 
始 铺陈 ， 特 别 是 它 在 Java 开 发 工具 包 JDK) 中 的 实现 。 有 了 这 些 背 景 
知识 后 ， 我 们 将 介绍 Netty， 它 的 核心 概念 以 及 构建 块 。 在 本 章 结 束 之 
后 ， 你 就 能 够 编写 你 的 第 一 款 基 于 Netty 的 客户 端 和 服务 器 应 用 程序 
Jo 








1.1 Java 网 络 编程 





早期 的 网 络 编程 开发 人 人员， 需要 花费 大 量 的 时 间 去 学 习 复杂 的 C 语 
言 套 接 字库 ， 去 处 理 它们 在 不 同 的 操作 系统 上 出 现 的 古怪 问题 。 虽 然 最 
早 的 Java (1995—2002) 引入 了 足够 多 的 面向 对 象 facade (门面 ) KK 
藏 一 些 理 手 的 细节 问题 ， 但 是 创建 一 个 复杂 的 客户 端 /服务 器 协议 仍然 


ed es TO re merc 
LAK) 。 


那些 最 早期 的 Java API (java.net) 只 支持 由 本 地 系统 套 接 字 库 提 
供 的 所 谓 的 阻塞 函数 。 代 码 清 蛙 1-1 展 示 了 一 个 使 用 了 这 些 函 数 调用 的 
服务 器 代码 的 普通 示例 。 


代码 清单 1-1 阻塞 W/O 示例 


ServerSocket serverSocket = new ServerSocket(portNumber ) ， 一 - 
- ”创建 一 个 新 的 ServerSocket， 用 以 监听 指定 端口 上 的 连接 请 求 
Socket clientSocket = serverSocket.accept(); - -- @ 对 
accept( ) 方 法 的 调用 将 被 阻塞 ， 直 到 一 个 连接 创建 
BufferedReader in = new BufferedReader ( 

new InputStreamReader(clientSocket.getInputStream())); 
Printwriter out = 

new PrintwWriter(clientSocket.getOutputStream(), true); e 
- O 这 些 流 对 象 都 派生 于 该 套 接 字 的 流 对 象 
String request, response; 
while ((request = in.readLine()) != null) { - -- B&B 处 理 循环 开 
始 


口 









































if ("Done".equals(request)) { 
break; - -- ”如 果 客 户 端 发 送 了 “Done”， 则 退出 处 理 循环 
} 












































response = processRequest(request); - -- 0 请 求 被 传递 给 
服 
务 器 的 处 理 方法 

out.printlin(response) ; -~ -- 服务 器 的 响应 被 发 送 给 了 客户 端 














} ”— -- 继续 执行 处 理 循环 
代码 清单 1-1 实 现 了 socket API 的 基本 模式 之 一 。 以 下 是 最 重要 的 几 
点 。 











° Serversocket 上 的 accept() 方 法 将 会 一 直 阻 寨 到 一 个 连接 创建 @， 
随后 返回 一 个 新 的 Socket 用 于 客户 端 和 服务 器 之 间 的 通信 。 该 
serverSocket 将 继续 监听 传 入 的 连接 。 

。 BufferedReader 和 Printwriter 都 生生 自 socket 的 输入 输出 流 信 。 前 
者 从 一 个 字符 输入 流 中 读 取 文本 ， 后 者 打印 对 象 的 格式 化 的 表示 到 
文本 输出 流 。 

。readLine() 方 法 将 会 阻 宕 ， 直 到 在 @ 处 一 个 由 换行 符 或 者 掉头 符 结 
尾 的 字符 串 被 恋 取 。 
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需要 为 每 个 新 的 客 己 端 Socket 创 建 一 个 新 的 Thread， 如 图 1-1 所 示 。 





图 1-1 使 用 阻塞 JO 处 理 多 个 连接 


让 我 们 考虑 一 下 这 种 方案 的 影响 。 第 一 ， 在 任何 时 候 都 可 能 有 大 量 
的 线程 处 于 休眠 状态 ， 只 是 等 竺 输入 或 者 输出 数据 就 绪 ， 这 可 能 算是 一 
种 资源 浪费 。 第 二 ， 需 要 为 每 个 线程 的 调用 栈 都 分 配 内 存 ， 其 默认 值 大 





小 区 间 为 64 KB 到 1 MB， 有 具体 取决 于 操作 系统 。 第 三 ， 即 使 Java 虚 拟 机 
(JVM) 在 物理 上 可 以 支持 非常 大 数量 的 线程 ， 但 是 远 在 到 达 该 极限 之 
a 例如 ， 在 达到 10 000 个 连 
过 的 时 候 。 


虽然 这 种 并 发 方案 对 于 文 撑 中 小 数量 的 客户 端 来 说 还 算 可 以 接受 ， 
但 是 为 了 文 撑 100 000 或 者 更 多 的 并 发 连接 所 需要 的 资源 使 得 它 很 不 理 
想 。 柱 运 的 是 ， 还 有 一 种 方案 。 
1.1.1 Java NIO 


除了 代码 清单 1-1 中 代码 底层 的 阻塞 系统 调用 之 外 ， 本 地 套 接 字 库 
pee ee 其 为 网 络 资源 的 利用 率 提供 了 相当 多 的 控 
IF 











。 可 以 使 用 setsockopt() 方 法 配置 套 接 字 ， 以 便 读 / 写 调用 在 没有 数据 
的 时 候 立 即 返回 ， 也 就 是 说 ， 如 果 是 一 个 阻塞 调用 应 该 已 经 被 阻塞 
yu, 

。 可 以 使 用 操作 系统 的 事件 通知 APIDI 注 册 一 组 非 阻塞 套 接 字 ， 以 确 
定 它们 中 是 否 有 任何 的 套 接 字 已 经 有 数据 可 供 读 写 。 


Java 对 于 非 阻 塞 VO 的 支持 是 在 2002 年 引入 的 ， 位 于 JDK 1.4 的 


java.nio 包 中 。 
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NIO 最 开始 是 新 的 输入 /输出 (New Input/Output) 的 英文 缩 
写 ， 但 是 ， 该 Java API 已 经 出 现 足 够 长 的 时 间 了 ， 不 再 是 “新 
的 ”> 了 ， 因 此 ， 如 今 大 多 数 的 用 户 认 为 NIO 代 表 非 阻塞 VO (Non- 
blocking I/O) ， 而 阻塞 WO (blocking VO) 是 旧 的 输入 /输出 (old 
input/output, OIO) 。 你 也 可 能 遇 到 它 被 称 为 普通 MO (plain 1/0) 
的 时 候 。 


1.1.2 ”选择 器 








图 1- 了 一 个 非 阻塞 设计 ， 其 实际 上 消除 了 上 一 节 中 所 描述 的 
ps abl Hea 


VE ME iE 


图 1-2 ”使 用 selector 的 非 阻塞 IO 


class java,nio.channels.Selector 是 Java 的 非 阻塞 VO 实 现 的 天 
键 。 它 使 用 了 事件 通知 API 以 确定 在 一 组 非 阻 塞 套 接 字 中 有 哪些 已 经 就 
绪 能 够 进行 WO 相关 的 操作 。 因 为 可 以 在 任何 的 时 间 检 查 任意 的 读 操 作 
或 者 写 操作 的 完成 状态 ， 所 以 如 图 1-2 所 示 ， 一 个 单一 的 线程 便 可 以 处 
理 多 个 并 发 的 连接 。 


总 体 来 看 ， 与 阻塞 WO 模型 相 比 ， 这 种 模型 提供 了 更 好 的 资源 管 
m, 








。 使 用 较 少 的 线程 便 可 以 处 理 许多 连接 ， 因 此 也 减少 了 和 内存 管理 和 上 
下 文 切 换 所 带 来 开销 ; 
。 当 没 有 IO 操作 需要 处 理 的 时 候 ， 线 程 也 可 以 航 用 于 其 他 任务 。 


尽管 已 经 有 许多 直接 使 用 Java NIO API 的 应 用 程序 被 构建 了 ， 但 是 
要 做 到 如 此 正确 和 安全 并 不 容易 。 特 别 是 ， 在 高 负载 下 可 靠 和 高 效 地 处 
理 和 调度 IO 操作 是 一 项 繁琐 而 且 容 易 出 错 的 任务 ， 最 好 留 给 高 性 能 的 
网 络 编程 专家 一 一 Netty。 





1.2 Netty 简介 


不 久 以 前 ， 我 们 在 本 章 一 开始 所 呈现 的 场景 一 一 文 持 成 干 上 万 的 并 
发 客户 端 一 一 还 被 认定 为 是 不 可 能 的 。 然 而 今天 ， 作 为 系统 用 户 ， 我 们 
将 这 种 能 力 视 为 理所当然 ;同时 作为 开 肥 人员， 我 们 期 望 将 水 平 线 提 得 
更 高 加。 因为 我 们 知道 ， 总 会 有 更 高 的 吞吐 量 和 可 扩展 性 的 要 求 一 一 在 
更 低 的 成 本 的 基础 上 进行 交付 。 


不 要 低估 了 这 最 后 一 点 的 重要 性 。 我 们 已 经 从 漫长 的 痛苦 经 历 中 学 
到 : 直接 使 用 底层 的 API 暴 露 了 复杂 性 ， 并 且 引 入 了 对 往往 供不应求 的 
技能 的 关键 性 依赖 负 。 这 也 就 是 ， 面 向 对 象 的 基本 概念 : 用 较 简 单 的 抽 
象 隐藏 底层 实现 的 复杂 性 。 


这 一 原则 也 催生 了 大 量 框架 的 开 友 ， 它 们 为 第 见 的 编程 任务 封装 了 
解决 方案 ， 其 中 的 许多 都 和 分 布 式 系统 的 开发 密切 相关 。 我 们 可 以 确定 























地 说 : 所 有 专业 的 Java 开 发 人 员 都 至 少 对 它们 熟知 一 二 。 乌 对 于 我 们 许 
多 人 来 说 ， 它 们 已 经 变 得 不 可 或 缺 ， 因 为 它们 既 能 满足 我 们 的 技术 需 
求 ， 又 能 满足 我 们 的 时 间 表 。 


在 网 络 编程 领域 ，Netty 是 Java 的 卓越 框架 。 回 它 驾 驱 了 Java 高 级 


API 的 能 力 ， 并 将 其 隐藏 在 一 个 易于 使 用 的 API 之 后 。Netty 使 你 可 以 专 
注 于 自己 真正 感 兴趣 的 一 一 你 的 应 用 程序 的 独一无二 的 价值 。 


在 我 们 开始 首次 深入 地 了 解 Netty 之 前 ， 请 仔细 审视 表 1-1 中 所 总 结 
的 关键 特性 。 有 些 是 技术 性 的 ， 而 其 他 的 更 多 的 则 是 关于 架构 或 设计 哲 
学 的 。 在 本 书 的 学 习 过 程 中 ， 我 们 将 不 止 一 次 地 重新 审视 它们 。 


表 1-1 Netty 的 特性 总 结 














Netty 的 特性 


统一 的 API， 支 持 多 种 传输 类 型 ， 阻 豆 的 和 非 阻 赛 的 
简单 而 强大 的 线程 模型 

真正 的 无 连接 数据 报 套 接 字 文 持 

链接 人 逻辑 组 件 以 支持 复 用 





详实 的 Javadoc 和 大 量 的 示例 集 
不 需要 超过 JDK 1.6+ 吕 的 依赖 。 (一 些 可 选 的 特性 可 能 需要 Java 1.7+ 和 /或 额外 的 依 














不 会 因为 慢 速 、 快 速 或 者 超载 的 连接 而 导致 outorwenoryerror 
消除 在 高 速 网 络 中 NIO 应 用 程序 常见 的 不 公平 读 / 写 比率 
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1.2.1 谁 在 使 用 Netty 


Netty 拥 有 一 个 充满 活力 并 且 不 断 壮 大 的 用 户 社区 ， 其 中 不 乏 大 型 
公司 ， 如 Apple、Twitter、Facebook、Google、Square 和 Instagram， 还 有 
流行 的 开源 项 目 ， 如 Infinispan、HornetQ、Vert.x、Apache Cassandra 和 
Elasticsearchl 引 ， 它 们 所 有 的 核心 代码 都 利用 了 Netty 强 大 的 网 络 抽 
象 加。 在 初创 企业 中 ，Firebase 和 Urban ”Airship 也 在 使 用 Netty， 前 者 用 
来 做 HTTP 长 连接 ， 而 后 者 用 来 支持 各 种 各 样 的 推送 通知 。 


当 你 使 用 Twitter， 你 便 是 在 使 用 FinagleLM， 它 们 基于 Netty 的 系 
统 间 通信 框架 。Facebook 在 Nifty 中 使 用 了 Netty， 它 们 的 Apache Thrift 服 
务 。 可 伸缩 性 和 性 能 对 这 两 家 公司 来 说 至 关 重 要 ， 他 们 也 经 常 为 Netty 
贡献 代码 出。 


反 过 来 ，Netty 也 已 从 这 些 项 目 中 受益 ， 通 过 实现 FTP、SMTP、 
HTTP 和 WebSocket 以 及 其 他 的 基于 二 进 制 和 基于 文本 的 协议 ，Netty 打 - 
展 了 它 的 应 用 范围 及 灵活 性 。 


1.2.2 异步 和 事件 驱动 


因为 我 们 要 大 量 地 使 用 “异步 ?这 个 词 ， 所 以 现在 是 一 个 澄清 上 下 文 
的 好 时 机 。 腊 步 《 也 惑 是 非 同步 ) 事件 衣 定 大 家 都 熟悉 。 考 虑 一 下 电子 
邮件 : 你 可 能 会 也 可 能 不 会 收 到 你 已 经 发 出 去 的 电子 邮件 对 应 的 回复 ， 
或 者 你 也 可 能 会 在 正在 发 送 一 封 电 子 邮件 的 时 候 收 到 一 个 意外 的 消 筷 。 
异步 事件 也 可 以 具有 某 种 有 序 的 关系 。 通 常 ， 你 只 有 在 已 经 问 了 一 个 问 
I 
点 别 的 事情 。 


在 日 常 的 生活 中 ， 和 异步 自然 而 然 地 就 发 生 了 ， 所 以 你 可 能 没有 对 它 
考虑 过 多 少 。 但 是 让 一 个 计算 机 程序 以 相同 的 方式 工作 就 会 产生 一 些 非 
常 特殊 的 问题 。 本 质 上 ， 一 个 既是 异步 的 义 是 事件 驱动 的 系统 会 表现 出 
一 种 特殊 的 、 对 我 们 来 说 极 具 价值 的 行为 : 它 可 以 以 任意 的 顺序 啊 应 在 
任意 的 时 间 氮 产生 的 事件 。 


这 种 能 力 对 于 实现 最 高 级 别 的 可 伸缩 性 公关 重要 ， 定 义 为 :“ 一 种 























系统 、 网 络 或 者 进程 在 需要 处 理 的 工作 不 断 增 长 时 ， 可 以 通过 某 种 可 行 
的 方式 或 者 扩大 它 的 处 理 能 力 来 适应 这 种 增长 的 能 力 。?02 





异步 和 可 伸缩 性 之 间 的 联系 又 是 什么 呢 ? 





© 非 阻塞 网 络 调用 使 得 我 们 可 以 不 必 等 竺 一 个 操作 的 完成 。 完 全 弄 步 
的 IO 正 是 基于 这 个 特性 构建 的 ， 并 且 更 进一步 : 异步 方法 会 立即 
人 返回， 并且 在 它 完 成 时 ， 会 直接 或 者 在 和 后 的 茶 个 时 间 扣 通知 用 
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将 这 些 元 素 结 合 在 一 起 ， 与 使 用 阻 具 I/O 来 处 理 大 量 事件 相 比 ， 使 
用 非 阻 塞 JO 来 处 理 更 快速 、 更 经 济 。 从 网 络 编程 的 角度 来 看 ， 这 是 构 
建 我 们 理想 系统 的 关键 而且 你 会 看 到 ， 这 也 是 Netty 的 设计 瓜 缠 的 关 
键 。 





在 1.3 节 中 ， 我 们 将 首先 看 一 看 Netty 的 核心 组 件 。 现 在 ， 只 需要 将 
它们 看 作 是 域 对 象 ， 而 不 是 具体 的 Java 类 。 随 着 时 间 的 推移 ， 我 们 将 看 
Or eee eer eel 
以 被 处 理 的 。 


1.3 Netty 的 核心 组 件 
在 本 节 中 我 将 要 讨论 Netty 的 主要 构件 块 : 


Channel; 

回调 ; 

Future; 

事件 和 channelHandler。 


这 些 构建 块 代表 了 不 同类 型 的 构造 : 资源 、 逻 辑 以 及 通知 。 你 的 应 
用 程序 将 使 用 它们 来 访问 网 络 以 及 流 经 网 络 的 数据 。 


对 于 每 个 组 件 来 说 ， 我 们 都 将 提供 一 个 基本 的 定义 ， 并 且 在 适当 的 
情况 下 ， 还 会 提供 一 个 简单 的 示例 代码 来 说 明 它 的 用 法 。 


1.3.1 Channel 


Channel 是 Java NIO 的 一 个 基本 构造 。 

















它 代 表 一 个 到 实体 (如 一 个 硬件 设备 、 一 个 文件 、 一 个 网 络 套 接 字 或 
者 一 个 能 够 执行 一 个 或 者 多 个 不 同 的 MO 操作 的 程序 组 件 ) 的 开放 连接 ， 如 读 


操作 和 写 操 作 上 3 。 














目前 ， 可 以 把 channe1 看 作 是 传 入 〈 入 站 ) 或 者 传 出 (出 站 ) 数据 
的 载体 。 因 此 ， 它 可 以 被 打开 或 者 被 关闭 ， 连 接 或 者 断 开 连 接 。 


1.3.2 ”回调 


一 个 回调 其 实 就 是 一 个 方法 ， 一 个 指 问 已 经 被 提供 给 另外 一 个 方法 
的 方法 的 引用 。 这 使 得 后 者 上 可 以 在 适当 的 时 候 调用 前 者 。 回 调 在 广 
泛 的 编程 场景 中 都 有 应 用 ， 而 且 也 是 在 操作 完成 后 通知 相关 方 最 常见 的 
方式 之 一 。 

Netty 在 内 部 使 用 了 回调 来 处 理事 件 ;， 当 一 个 回调 被 触发 时 ， 相 关 
的 事件 可 以 被 一 个 ijnterface-channelHandler 的 实现 处 理 。 代 码 清 单 1-2 
展示 了 一 个 例子 : 当 一 个 新 的 连接 已 经 被 创建 时 ，channelHandler 的 
channelActive() 回 调 方法 将 会 被 调用 ， 并 将 打印 出 一 条 信息 。 


代码 清单 1-2 被 回调 触发 的 channelHandler 


public class ConnectHandler extends ChannelInboundHandlerAdapter 





@Override 
public void channelActive(ChannelHandlerContext ctx) 
throws Exception { - -- 当 一 个 新 的 连接 已 经 被 创建 时 ， 








channelActive(ChannelHandlerContext ) 将 会 被 调用 
System.out.printJln( 
"Client " + ctx.channel().remoteAddress() + " connect 


} 
1.3.3 Future 


Future 提 供 了 另 一 种 在 操作 完成 时 通知 应 用 程序 的 方式 。 这 个 对 象 
可 以 看 作 是 一 个 异步 操作 的 结果 的 占 位 符 ， 它 将 在 未 来 的 某 个 时 刻 完 











成 ， 并 提供 对 其 结果 的 访问 。 


JDK 预 置 了 interface java.util,concurrent.Future， 但 是 其 所 提 
供 的 实现 ， 只 人 允许 手动 检查 对 应 的 操作 是 否 已 经 完成 ， 或 者 一 直 阻 罕 直 
到 它 完成 。 这 是 非常 繁琐 的 ， 所 以 Netty 提 供 了 它 自己 的 实现 
channelFuture， 用 于 在 执行 异步 操作 的 时 候 使 用 。 


channelFuture 提 供 了 几 种 额外 的 方法 ， 这 些 方法 使 得 我 们 能 够 注 
册 一 个 或 者 多 个 channelFutureListener 实 例 。 监 听 器 的 回调 方法 
operationcomplete()， 将 会 在 对 应 的 操作 完成 时 被 调用 L099。 然后 监听 
颖 可 以 判断 该 操作 是 成 功 地 完成 了 还 是 出 错 了 。 如 果 是 后 者 ， 我 们 可 以 
检索 产生 的 Throwable。 简 而 言 之 ， 由 channelFutureListener 提 供 的 通 
知 机 制 消除 了 手动 检查 对 应 的 操作 是 否 完成 的 必要 。 


每 个 Netty 的 出 站 WO 操作 都 将 返回 一 个 channelFuture; 也 就 是 说 ， 
它们 都 不 会 阻塞 。 正 如 我 们 前 面 押 提 到 过 的 一 样 ，Netty 完 全 是 异步 和 
事件 驱动 的 。 


代码 清单 1-3 展 示 了 一 个 channelFuture 作 为 一 个 MO 操作 的 一 部 分 返 
回 的 例子 。 这 里 ，connect() 方 法 将 会 直接 返回 ， 而 不 会 阻塞 ， 该 调用 
将 会 在 后 台 完 成 。 这 究竟 什么 时 候 会 发 生 则 取决 于 若干 的 因素 ， 但 这 个 
关注 点 已 经 从 代码 中 抽象 出 来 了 。 因 为 线程 不 用 阻塞 以 等 竺 对 应 的 操作 
完成 ， 所 以 它 可 以 同时 做 其 他 的 工作 ， 从 而 更 加 有 效 地 利用 资源 。 


代码 清单 1-3 ”异步 地 创建 连接 


Channel channel = ...; 

// Does not block 

ChannelFuture future = channel.connect ( - -- 异步 地 连接 到 远程 节 
点 

















new InetSocketAddress("192.168.0.1", 25)); 


代码 清单 1-4 显 示 了 如 何 利用 channelFutureListener。 首 先 ， 要 连 
接 到 远程 节点 上 。 然 后 ， 要 注册 一 个 新 的 channelFutureListener 到 对 
connect() 方 法 的 调用 所 返回 的 channelFuture 上 。 当 该 监听 器 被 通知 连 
接 已 经 创建 的 时 候 ， 要 检查 对 应 的 状态 @。 如 果 该 操作 是 成 功 的 ， 那 么 
将 数据 写 到 该 channeLl。 人 和 否则， 要 从 channelFuture 中 检索 对 应 的 


Throwable. 


代码 清单 1-4 回调 实战 








Channel channel = ...; 
// Does not block 
ChannelFuture future = channel.connect( =- -- 异步 地 连接 到 远程 节点 
new InetSocketAddress("192.168.0.1", 25)); 
future.addListener(new ChannelFutureListener() { ~ -- 注册 一 个 
ChannelFutureListener， 以 便 在 操作 完成 时 获得 通知 
@Override 


public void operationComplete(ChannelFuture future) { = - 
- O 检查 操作 
的 状态 
if (future.isSuccess()){ 
ByteBuf buffer = Unpooled.copiedBuffer( ~ -- 如 果 操 作 
是 成 功 的 ， 则 创建 一 个 ByteBuf 以 持 有 数据 
"Hello", Charset.defaultCharset()); 
ChannelFuture wf = future.channel() 
.writeAndFlush(buffer); =- -- 将 数据 异步 地 发 送 到 远 








返回 一 个 channelFuture 


} else { 
Throwable cause = future.cause(); - -- 如 果 发 生 错 
误 ， 则 访问 描述 原因 的 Throwable 
Cause.printStackTrace(); 


} 
H; 


需要 注意 的 是 ， 对 错误 的 处 理 完 全 取决 于 你 、 目 标 ， 当 然 也 包括 目 
前 任何 对 于 特定 类 型 的 错误 加 以 的 限制 。 例 如 ， 如 果 连 接 失 败 ， 你 可 以 
尝试 重新 连接 或 者 创建 一 个 到 为 一 个 远程 制皮 的 连接 。 


如 果 你 把 channelFutureListener 看 作 是 回调 的 一 个 更 加 精细 的 版 
本 ， 那 么 你 是 对 的 。 事 实 上 ， 回 调和 Future 是 相互 补充 的 机 制 ， 它 们 相 
互 结 合 ， 构 成 了 Netty 本 身 的 关键 构件 块 之 一 。 


1.3.4 事件 和 ChannelHandler 


Netty 使 用 不 同 的 事件 来 通知 我 们 状态 的 改变 或 者 是 操作 的 状态 。 
这 便 得 我 们 能 够 基于 己 经 发 生 的 事件 来 触及 适当 的 动作 。 这 些 动作 可 能 
KE 











。 记录 日 志 ; 
。 数据 转换 ; 
。 流 控制 ; 
。 应 用 程序 逻辑 。 
Netty 是 一 个 网 络 编程 框架 ， 所 以 事件 是 按照 它们 与 入 站 或 出 站 数 
en area ern 








连接 已 被 激活 或 者 连接 失 活 ; 
数据 读 取 ; 
FAP Sees 
错误 事件 。 


出 站 事件 是 未 来 将 会 触发 的 茶 个 动作 的 操作 结果 ， 这 些 动作 包括 : 








打开 或 者 关闭 到 远程 节点 的 连接 ; 
将 数据 写 到 或 者 冲刷 到 套 接 字 。 


每 个 事件 都 可 以 被 分 发 给 channelHandler 类 中 的 某 个 用 户 实 现 的 方 
法 。 这 是 一 个 很 好 的 将 事件 驱动 范式 直接 转换 为 应 用 程序 构件 块 的 例 
子 。 图 1-3 展 示 了 一 个 事件 是 如 何 被 一 个 这 样 的 channelHandler 链 处 理 
的 。 
































图 1-3” 流 经 ChannelHandler 链 的 入 站 事件 和 出 站 事件 


Netty 的 channelHandler 为 处 理 占 提供 了 基本 的 抽象 ， 如 图 1-3 所 示 
的 那些 。 我 们 会 在 适当 的 时 候 对 channelHandler 进 行 更 多 的 说 明 ， 但 是 





目前 你 可 以 认为 每 个 channel-Handler 的 实例 都 类 似 于 一 种 为 了 响应 特定 
事件 而 被 执行 的 回调 。 


Netty 提 供 了 大 量 预 定义 的 可 以 开 箱 即 用 的 channelHandler 实 现 ， 包 
括 用 于 各 种 协议 (如 HTTP 和 SSL/TLS) 的 channelHandler。 在 内 
部 ，ChannelHandler 自 己 也 使 用 了 事件 和 Future， 使 得 它们 也 成 为 了 你 
的 应 用 程序 将 使 用 的 相同 抽象 的 消费 者 。 


1.3.5 ”把 它们 放 在 一 起 


在 本 半 中 ， 我 们 介绍 了 Netty 实 现 蜗 性 能 网 络 编程 的 方式 ， 以 及 它 
的 实现 中 的 一 些 主要 的 组 件 。 证 我 们 大 体 回顾 一 下 我 们 讨论 过 的 内 容 
吧 。 


1，Future、 回 调和 ChannelHandler 


Netty 的 异步 编程 模型 是 创建 在 Future 和 回调 的 概念 之 上 的 ， ”而 将 
事件 派发 到 channelHandler 的 方法 则 发 生 在 更 深 的 层次 上 。 结 合 在 一 
起 ， 这 些 元 素 就 提供 了 一 个 处 理 环境 ， 使 你 的 应 用 程序 逻辑 可 以 独立 于 
ee 这 也 是 Netty 的 设计 方式 的 一 
六 关键 目标 。 


拦截 操作 以 及 高 速 地 转换 入 站 数据 和 出 站 数据 ， 都 只 需要 你 提供 回 
调 或 者 利用 操作 所 返回 的 Future。 这 使 得 链接 操作 变 得 既 简 音义 局 效 ， 
并 且 促 进 了 可 重用 的 通用 代码 的 编写 。 


2. 选择 器 、 事 件 和 EventLoop 


Netty 通 过 触发 事件 将 selector 从 应 用 程序 中 抽象 出 来 ， 消 除了 所 有 
本 来 将 需要 手动 编写 的 派发 代码 。 在 内 部 ， 将 会 为 每 个 channel 分 配 一 
个 EventLoop， 用 以 处 理 所 有 事件 ， 包 括 : 














。 注册 感 兴趣 的 事件 ; 
。 将 事件 派发 给 channelHandler; 
。 安排 进一步 的 动作 。 


EventLoop 本 喘 只 由 一 个 线程 驱动 ， 其 处 理 了 一 个 channe1l 的 所 有 LO 


事件 ， 并 且 在 该 EventLoop 的 整个 生命 周期 内 都 不 会 改变 。 这 个 简单 而 

强大 的 设计 消除 了 你 可 能 有 的 在 channelHandler 实 现 中 需要 进行 同步 的 
任何 顾虑 ， 因 此 ， 你 可 以 专注 于 提供 正确 的 逻辑 ， 用 来 在 有 感 兴趣 的 数 
据 要 处 理 的 时 候 执 行 。 如 同 我 们 在 详细 探讨 Netty 的 线程 模型 时 将 会 看 

到 的 ， 该 API 是 简单 而 紧 凌 的 。 
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在 这 一 章 中 ， 我 们 介绍 了 Netty 框 架 的 背景 知识 ， 包 括 Java 网 络 编程 
API 的 演变 过 程 ， 阻 塞 和 非 阻 塞 网 络 操作 之 间 的 区 别 ， 以 及 异步 IO 在 高 
容量 、 高 性 能 的 网 络 编程 中 的 优势 。 


然后 ， 我 们 概述 了 Netty 的 特性 、 设 计 和 优点 ， 其 中 包括 Netty 弄 步 
模型 的 底层 机 制 ， 包 括 回调 、Future 以 及 它们 的 结合 使 用 。 我 们 还 谈 到 
了 事件 是 如 何 产生 的 以 及 如 何 拦截 和 处 理 它 们 。 


在 本 书 接 下 来 的 部 分 ， 我 们 将 更 加 深入 地 探讨 如 何 利 用 这 些 丰富 的 
工具 集 来 满足 上 自己 的 应 用 程序 的 特定 需求 。 


在 下 一 章 中 ， 我 们 将 要 深入 地 探讨 Netty 的 API 以 及 编程 模型 的 基础 
知识 ， 而 你 则 将 编写 你 的 第 一 款 客户 端 和 服务 器 应 用 程序 。 
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第 2 章 ”你 的 第 一 蒜 Netty 应 用 程序 


。 设 置 开发 环境 
。 编 写 Echo 服 务 器 和 客户 端 
。 构 建 并 测试 应 用 程序 


在 本 半 中 ， 我 们 将 展示 如 何 构建 一 个 基于 Netty 的 客户 端 和 服务 
Ait 0 应 用 程序 很 简单 : 客户 并 将 消 明 发 送 给 服务 器 ， T ARS 48 FRE E 
回 送 给 客户 端 。 但 是 这 个 练习 很 重要 ， 原 因 有 两 个 。 

首先， 它 会 提供 一 个 测试 全 ， 用 于 设置 和 验证 你 的 开发 工具 和 环 


境 ， 如 果 你 打算 通过 对 本 书 的 示例 代码 的 练习 来 为 目 己 将 来 的 开发 工作 
做 准备 ， 那 么 它 将 是 必 不 可 少 的 。 

其 次 ， 你 将 获得 关于 Netty 的 一 个 关键 方面 的 实践 经 验 ， 即 在 前 一 
章 中 提 到 过 的 : 通过 channelhandler 来 构建 应 用 程序 的 逻辑 。 这 能 让 你 
对 在 第 3 章 中 开始 的 对 Netty API 的 深入 学 习 做 好 准备 。 


2.1 设置 开发 环境 














要 编译 和 运行 本 书 的 示例 ， 只 需要 JDK 和 Apache ”Maven 这 两 样 工 
有 具 ， 它 们 都 是 可 以 免费 下 载 的。 

我 们 将 假设 ， 你 想 要 揭 鼓 示例 代码 ， 并 且 想 很 快 就 开始 编写 上 自己 的 
代码 。 虽 然 你 可 以 使 用 纯 文 本 编辑 器 ， 但 是 我 们 仍然 强烈 地 建议 你 使 用 
用 于 Java 的 集成 开发 环境 CIDE) 。 


2.1.1 获取 并 安装 Java 开 发 工具 包 


你 的 操作 系统 可 能 已 经 安装 了 JDK。 为 了 找到 答案 ， 可 以 在 命令 行 


输入 : 


javac -version 


如 果 得 到 的 是 javac 1.7.……: 或 者 1.8.……， 则 说 明 已 经 设置 好 了 并 且 可 
以 略 过 此 步 出 。 


否则 ， 请 从 http:Wjava.com/en/download/manual.jsp 处 获取 JDK 第 8 
版 。 请 留心 ， 需 要 下 载 的 是 JDK， 而 不 是 Java 运 行 时 环境 (IRE) ， 其 
只 可 以 运行 Java 应 用 程序 ， 但 是 不 能 够 编译 它们 。 该 网 站 为 每 个 平台 都 
a 如 果 需 要 安装 说 明 ， 可 以 在 同一 个 网 站 上 找 
| H3 \ aA. 


建议 执行 以 下 操作 : 





。 将 环境 变量 JAvA_HoME 设 置 为 你 的 JDK 安 装 位 置 (在 Windows 上 ， 默 
认 值 将 类 似 于 C:\Program Files\Java\jdk1.8.0_121) ; 

e 将 %JAVA_HOME%\bin〔 在 Linux 上 为 ${JAVA_HOME}/bin) 添加 到 你 的 
执行 路 径 。 


2.1.2 下载 并 安装 IDE 
下 面 是 使 用 最 广泛 的 Java IDE， 都 可 以 免费 获取 : 
e Eclipse—— www.eclipse.org; 
e NetBeans www.netbeans.org; 
e Intellij IDEA Community Edition 
所 有 这 3 种 对 我 们 将 使 用 的 构建 工具 Apache Maven 都 拥有 完整 的 文 
持 。NetBeans 和 Intellij IDEA 都 通过 可 执行 的 安装 程序 进行 分 发 。Edlipse 
通常 使 用 Zip 归 档 文 件 进行 分 有 发， 当然 也 有 一 些 自 定 义 的 版 本 包含 了 目 
2.1.3 FRAZI Apache Maven 
即使 你 已 经 熟悉 Maven 了 ， 我 们 仍然 建议 你 至 少 大 致 浏览 一 下 这 一 








www.jetbrains.com. 


“We 


Maven 是 一 款 广泛 使 用 的 由 Apache 软 件 基金 会 ASF) 开发 的 构建 
管理 工具 。Netty 项 目 以 及 本 书 的 示例 都 使 用 了 它 。 构 建 和 运行 这 些 示 
例 并 不 需要 你 成 为 一 个 Maven 专 家 ， 但 是 如 果 你 想 要 对 其 进行 扩展 ， 我 
们 推荐 你 阅读 附录 中 的 Maven 人 简介 。 


你 需要 安 闪 Maven 吗 





Eclipse 和 NetBeans 馈 自 带 了 一 个 内 置 的 Maven 安 装 包 ， 对 于 我 
们 的 目的 来 说 开 箱 即 可 工作 得 民 好 。 如 果 你 将 要 在 一 个 拥有 它 自己 
的 Maven 存 储 库 的 环境 中 工作 ， 那 么 你 的 配置 管理 员 可 能 就 有 一 个 
预先 配置 好 的 能 配合 它 使 用 的 Maven 安 装 包 。 


在 本 书 中 文 版 出 版 时 ，Maven 的 最 新 版 本 是 3.3.9。 你 可 以 从 
http://maven.apache.org/ download.cgi 下 载 适 用 于 你 的 操作 系统 的 tar.gz 或 
者 zip 归 档 文件 时。 安装 很 简单 : 将 归档 文件 的 所 有 内 容 解压 到 你 所 选择 
的 任意 的 文件 夹 《我 们 将 其 称 为 < 安装 目录 >) 。 这 将 创建 目录 < 安装 目 
录 >\apache-maven-3.3.9。 


和 设置 Java 环 境 一 样 : 


。 将 环境 变量 M2_HoME 设 置 为 指向 < 安装 目录 >\apache-maven-3.3.9; 
。 将 %M2_HOME%\bin〔 或 者 在 Linux 上 为 ${M2_HOME}/bin)〉 添加 到 你 的 
执行 路 径 。 


这 将 使 得 你 可 以 通过 在 命令 行 执行 mvn.bat 〈 或 者 mvn) 来 运行 
Maven. 


214 配置 工具 集 


如 果 你 已 经 按照 推荐 设置 好 了 环境 变量 JAVA_HOME 和 M2_HOME， 那 么 
你 可 能 会 发 现 ， 当 你 启动 自己 的 IDE 时 ， 它 已 经 发 现 了 你 的 Java 和 
Maven 的 安装 位 置 。 如 果 你 需要 进行 手动 配置 ， 我 们 所 列举 的 所 有 的 
IDE 版 本 在 Preferences 或 者 Settings 下 都 有 设置 这 些 变 量 的 菜单 项 。 相 关 








的 细节 请 查阅 文档 。 


这 就 完成 了 开发 环境 的 配置 。 在 接 下 来 的 各 节 中 ， 我 们 将 介绍 你 要 
构建 的 第 一 个 Netty 应 用 程序 的 详细 信息 ， 同 时 我 们 将 更 加 深入 地 了 解 
该 框架 的 API。 之 后 ， 你 就 能 使 用 刚刚 设置 好 的 工具 来 构建 和 运行 Echo 
服务 器 和 客户 端 了 。 


2.2 Netty 客 户 端 /服务 器 概览 











图 2-1 从 高 层次 上 展示 了 一 个 你 将 要 编写 的 Echo 客户 端 和 服务 右 应 
用 程序 。 虽 然 你 的 主要 关注 点 可 能 是 编写 基于 Web 的 用 于 被 浏览 右 访 问 
的 应 用 程序 ， 但 是 通过 同时 实现 客户 端 和 服务 器 ， 你 一 定 能 更 加 全 面 地 
理解 Netty 的 API。 
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图 2-1 Echo 客户 端 和 服务 器 


虽然 我 们 已 经 谈 及 到 了 客户 端 ， 但 是 该 图 展示 的 是 多 个 客户 端 同时 
连接 到 一 合 服务 部 。 所 能 够 文 持 的 客户 端 数量 ， 在 理论 上 ， 仅 受 限 于 系 
统 的 可 用 资源 《以 及 所 使 用 的 JDK 版 本 可 能 会 施加 的 限制 ) 。 


Echo 客户 端 和 服务 器 之 间 的 交互 是 非常 简单 的 ; 在 客户 端 创建 一 个 
连接 之 后 ， 它 会 问 服 务 器 发 送 一 个 或 多 个 消 轧 ， 反 过 来 ， 服 务 需 又 会 将 
每 个 消息 回 送 给 客户 端 。 虽 然 它 本 喘 看 起 来 好 像 用 处 不 大 ， 但 它 充 分 地 
体现 了 客户 问 / 服 务 器 系统 中 典型 的 请 求 - 啊 应 交互 模式 。 

我 们 将 从 考察 服务 器 端 代码 开始 这 个 项 目 。 


2.3 编写 Echo 服务 器 








所 有 的 Netty 服 务 器 都 需要 以 下 两 部 分 。 





e 至 少 一 个 channelHandler 该 组 件 实现 了 服务 器 对 从 客户 端 接收 
的 数据 的 处 理 ， 即 它 的 业务 逻辑 。 

。 引导 这 是 配置 服务 喜 的 启动 代码 。 至 少 ， 它 会 将 服务 器 绑 定 到 
它 要 监听 连接 请 求 的 端口 上 。 


在 本 小 节 的 剩 下 部 分 ， 我 们 将 描述 Echo 服务 器 的 业务 馆 辑 以 及 引导 











2.3.1 ChannelHandler 利 业务 逻辑 





在 第 1 章 中 ， 我 们 介绍 了 Future 和 回调 ， 并 且 前 述 了 它们 在 事件 驱 
动 设计 中 的 应 用 。 我 们 还 讨论 了 channelHandler， 它 是 一 个 接口 族 的 父 
接口 ， 它 的 实现 负责 接收 并 啊 应 事件 通知 。 在 Netty 应 用 程序 中 ， 所 有 
的 数据 处 理 罗 和 辑 都 包含 在 这 些 核 心 抽象 的 实现 中 。 


因为 你 的 Echo 服务 器 会 啊 应 传 入 的 消息 ， 所 以 它 需 要 实现 
channelInboundHandler 接 口 ， 用 来 定义 啊 应 入 站 事件 的 方法 。 这 个 简单 
的 应 用 程序 只 需要 用 到 少量 的 这 些 方法 ， 所 以 继承 channel- 





InboundHandlerAdapter 类 也 就 足够 了 ， 它 提供 了 channelInboundHandler 
的 默认 实现 。 


我 们 感 兴趣 的 方法 是 : 








e channelReadComplete() eee 
channel-Read() 的 调用 是 当前 批量 读 取 中 的 最 后 SYA A, 
e exceptionCaught () 一 一 在 读 取 操作 期 间 ， 有 有 异 背 抛 出 时 会 调用 。 


该 Echo 服务 器 的 channeLHandler 实 现 是 EchoserverHandler， 如 代码 


清单 2-1 所 示 。 


代码 清单 2-1 EchoServerHandler 














@Sharable - -- 标示 一 个 channel- Handler 可 以 被 多 个 Channe1 安 全 地 共 
享 
public class EchoServerHandler extends ChannelInboundHandlerAdapt 


@Override 
public void channelRead(ChannelHandlerContext ctx, Object msg 
ByteBuf in = (ByteBuf) msg; 
System. out.printin( 
"Server received: " + in.toString(CharsetUtil.UTF_8) ) 
z 将 消息 记录 到 控制 台 


ctx.write(in); - -- 将 接收 到 的 消息 写 给 发 送 者 ， 而 不 冲刷 出 站 








@Override 
public void channelReadComplete(ChannelHandlerContext ctx) { 
ctx.writeAndFlush(Unpooled.EMPTY_BUFFER) 
.addListener (ChannelFutureListener.CLOSE) ; a-- 将 


未 决 消息 区 冲刷 到 远程 节点 ， 并 且 关 闭 该 Channe1 
J 


@Override 

public void exceptionCaught(ChannelHandlerContext ctx, 
Throwable cause) { 
cause. printStackTrace(); a-- ”打印 异常 栈 跟踪 
ctx.close(); --- 关闭 该 Channel 





channelInboundHandlerAdapter 有 一 个 直观 的 API， 并 且 它 的 每 个 方 
法 都 可 以 被 重 写 以 挂钩 到 事件 生命 周期 的 恰当 点 上 。 因 为 需要 处 理 所 有 
接收 到 的 数据 ， 所 以 你 重 写 了 channelRead() 方 法 。 在 这 个 服务 器 应 用 
程序 中 ， 你 将 数据 简单 地 回 送 给 了 远程 节点 。 


重 写 exceptioncaught( ) 方 法 允许 你 对 Throwable 的 任何 子 类 型 做 出 
反应 ， 在 这 里 你 记录 了 异常 并 关闭 了 连接 。 虽 然 一 个 更 加 完善 的 应 用 程 
序 也 许 会 尝试 从 异常 中 恢复 ， 但 在 这 个 场景 下 ， 只 是 通过 简单 地 关闭 连 
接 来 通知 远程 节点 发 生 了 错误 。 


如 来 不 捕获 异常 ， 会 用 生 什么 呢 




















每 个 channel 都 拥有 一 个 与 之 相关 联 的 channelPipeline， 其 持 
有 一 个 channelHandler 的 实例 链 。 在 默认 的 情况 
下 ，ChannelHandler 会 把 对 它 的 方法 的 调用 转发 给 链 中 的 下 一 
个 channel-Handler。 因 此 ， 如 果 exceptioncaught() 方 法 没有 被 该 
链 中 的 某 处 实现 ， 那 么 所 接收 的 异常 将 会 被 传递 到 channelPipeline 
的 尾 端 并 被 记录 。 为 此 ， 你 的 应 用 程序 应 该 提供 至 少 有 一 个 实现 了 
exceptioncaught() 方 法 的 channelHandler。 (6.4 节 详细 地 讨论 了 异 
常 处 理 ) 。 





除了 channelInboundHandlerAdapter 之 外 ， 还 有 很 多 需要 学 习 的 
channelHandler 的 子 类 型 和 实现 ， 我 们 将 在 第 6 章 和 第 7 章 中 对 它们 进行 
详细 的 阐述 。 目 前 ， 请 记 住 下 和 面 这 些 关 键 点 : 





。 针对 不 同类 型 的 事件 来 调用 channelHandler; 

。 应 用 程序 通过 实现 或 者 扩展 channelHandler 来 挂钩 到 事件 的 生命 周 
期 ， 并 且 提 供 自 定义 的 应 用 程序 逻辑 ; 

。 在 架构 上 ，channelHandler 有 助 于 保持 业务 逻辑 与 网 络 处 理 代码 的 
I 因为 代码 必须 不 断 地 演化 以 响应 不 断 变 


2.3.2 ”引导 服务 器 





在 讨论 过 由 EchoserverHandler 实 现 的 核心 业务 逻辑 之 后 ， 我 们 现在 
可 以 探讨 引导 服务 器 本 身 的 过 程 了 ， 有 具体 涉及 以 下 内 容 : 





o 绑 定 到 服务 器 将 在 其 上 监听 并 接受 传 入 连接 请 求 的 端口 ; 
。 配置 channel， 以 将 有 关 的 入 站 消息 通知 给 EchoserverHandler 实 
例 。 





在 这 一 节 中 ， 你 将 过 到 术语 传输 。 在 网 络 协 议 的 标准 多 层 视 图 
中 ， 传 输 层 提供 了 器 到 端的 或 者 主机 到 主机 的 通信 服务 。 





因特网 通信 是 创建 在 TCP 传 输 之 上 的 。 除 了 一 些 由 Java NIOS 
SE a li NIOR IK E AI RFS AY AE 
TCP 传 输 。 


我 们 将 在 第 4 章 对 传输 进行 详细 的 讨论 。 
代码 清单 2-2 展 示 了 Echoserver 类 的 完整 代码 。 


代码 清单 2-2 ”Echoserver 类 


public class EchoServer { 
private final int port; 


public EchoServer(int port) { 
this.port = port; 


public static void main(String[] args) throws Exception { 
if (args.length != 1) { 
System.err.printin( 
"Usage: " + EchoServer.class.getSimpleName() + 


int port = Integer.parseInt(args[0]); --- 设置 端口 值 


《如果 端 口 参数 的 格式 不 正确 ， 则 抛 出 一 个 NumberFormatEXxception) 
new EchoServer(port).start(); --- ”调用 服务 器 的 start( ) 方 

















法 


public void start() throws Exception { 
final EchoServerHandler serverHandler = new EchoServerHan 





EventLoopGroup group = new NioEventLoopGroup(); 一 - 
- 外 创建 Event-LoopGroup 
try { 
ServerBootstrap b = new ServerBootstrap(); 一 - 





- @ 创建 Server-Bootstrap 
b.group(group) 
.channel(NioServerSocketChannel.class) 一 - - 
© 指定 所 使 用 的 NIO 传 输 Cchannel 
.localAddress(new InetSocketAddress(port) ) 
--- 0 使 用 指定 的 端口 设置 套 接 字 地 址 
.childHandler(new ChannelInitializer(){ 一 - 
- ”全 添加 一 个 EchoServer- 
Handler 到 子 Channel 的 ChannelPipeline 
@Override 
public void initChannel(SocketChannel ch) 
throws Exception { 
ch.pipeline().addLast(serverHandler ); 























D] --- ”EchoServerHandler 被 标注 为 @Shareable， 所 以 我 们 可 以 总 是 使 用 
同样 的 实例 
} 
H; 
ChannelFuture f = b.bind().sync(); --- O 异步 地 
绑 定 服务 器 ;调用 sync( ) 方 法 阻塞 等 待 直到 绑 定 完成 
f.channel().closeFuture().sync(); --- O 获取 
channel1 的 CloseFuture， 并 且 阻 塞 当前 线程 直到 和 它 完 成 
} finally { 
group.shutdownGracefully().sync(); --- O 关闭 
EventLoopGroup， 释 放 所 有 的 资源 
} 
} 
} 


在 @ 处 ， 你 创建 了 一 个 serverBootstrap 实 例 。 因 为 你 正在 使 用 的 是 
NIO 传 输 ， 所 以 你 指定 了 NioEventLoopGroup@ 玉 接受 和 处 理 新 的 连接 ， 
并 有 日 将 channel 的 类 型 指定 为 Nioserver-Socketchannel 合 。 在 此 之 后 ， 
你 将 本 地 地 址 设置 为 一 个 具有 选 定 端口 的 InetSocket-Address@。 服务 
器 将 绑 定 到 这 个 地 址 以 监听 新 的 连接 请 求 。 


在 全 处 ， 你 使 用 了 一 个 特殊 的 类 一 一 channelInitializer。 这 是 关 
键 。 当 一 个 新 的 连接 被 接受 时 ， 一 个 新 的 子 channel 将 会 被 创建 ， 
而 channelInitializer 将 会 把 一 个 你 的 EchoserverHandler 的 实例 添加 到 
该 channel 的 channelPipeline 中 。 正 如 我 们 之 前 所 解释 的 ， 这 





个 channelHandler 将 会 收 到 有 关 入 站 消息 的 通知 。 


昌 然 NIO 是 可 伸缩 的 ， 但 是 其 适当 的 尤其 是 关于 多 线程 处 理 的 配置 
并 不 简单 。Netty 的 设计 封装 了 大 部 分 的 复杂 性 ， 而 且 我 们 将 在 第 3 章 中 
对 相关 的 抽象 (EventLoopGroup、Socket-channel 和 
Channelinitializer) 进行 详细 的 讨论 。 


接 下 来 你 绑 定 了 服务 器 @， 并 等 待 绑 定 完成 。 (对 sync() 方 法 的 调 
用 将 导致 当前 Thread 阻 塞 ， 一 直到 绑 定 操作 完成 为 止 ) 。 在 @@ 处 ， 该 应 
用 程序 将 会 阻塞 等 竺 直到 服务 器 的 channe1 关 闭 〈 因 为 你 在 channe1l 的 
Close Future 上 调用 了 sync() 方 法 ) 。 然 后 ， 你 将 可 以 关闭 
EventLoopGroup， 并 释放 所 有 的 资源 ， 包 括 所 有 被 创建 的 线程 四 。 


这 个 示例 使 用 了 NIO， 因 为 得 益 于 它 的 可 扩展 性 和 彻底 的 异步 性 ， 
它 是 目前 使 用 最 广泛 的 传输 。 但 是 也 可 以 使 用 一 个 不 同 的 传输 实现 。 如 
末 你 想 要 在 自己 的 服务 器 中 使 用 OIO 传 输 ， 将 需要 指定 
0ioServerSocketchannel 和 0ioEventLoopGroup。 我 们 将 在 第 4 章 中 对 传 


输 进行 更 加 详细 的 探讨 。 


与 此 同时 ， 让 我 们 回顾 一 下 你 刚 完 成 的 服务 器 实现 中 的 重要 步骤 。 
下 面 这 些 是 服务 器 的 主要 代码 组 件 : 








e EchoserverHandler 实 现 了 业务 逻辑 ; 
e main( ) 方 法 引 Y T ARS ae; 


引导 过 程 中 所 需要 的 步骤 如 下 : 








。 创建 一 个 serverBootstrap 的 实例 以 引导 和 绑 定 服务 器 ; 

。 创建 并 分 配 一 个 NioEventLoopGroup 实 例 以 进行 事件 的 处 理 ， 如 接受 
新 连接 以 及 读 / 写 数据 ; 

° JERS RR E HY AH Inet SocketAddress; 

e 使 用 一 | EchoServerHandler 的 实例 初始 化 每 一 个 新 的 channel; 

e 调用 ServerBootstrap .bind() 方 法 以 绑 定 服务 器 。 


在 这 个 时 候 ， 服 务 器 已经 初始 化 ， 并 且 已 经 就 绪 能 被 使 用 了 。 在 下 
一 节 中 ， 我 们 将 探讨 对 应 的 客户 并 应 用 程序 的 代码 。 


2.4 编写 Echo 客户 端 


Echo% F mR: 

C1) ERRIRE A; 

(2) 及 送 一 个 或 者 多 个 消息 ; 

(3) 对 于 每 个 消 电 ， 等 竺 并 接收 从 服务 器 发 回 的 相同 的 消 妃 ; 
(4) 关闭 连接 。 


编写 客户 端 所 涉及 的 两 个 主要 代码 部 分 也 是 业务 逻辑 和 引导 ， 和 你 
在 服务 器 中 看 到 的 一 样 。 


2.4.1 通过 ChannelHandler 实 现 客户 端 逻辑 


如 同 服务 器 ， 客 户 端 将 拥有 一 个 用 来 处 理 数 据 的 
channelInboundHandler。 在 这 个 场景 下 ， 你 将 扩 
展 simplechannelInboundHandler 类 以 处 理 所 有 必须 的 任务 ， 如 代码 清单 
2-3 所 示 。 这 要 求 重 写 下 面 的 方法 : 








e channelActive() 在 到 服务 器 的 连接 已 经 创建 之 后 将 被 调用 ; 
e channelRead9()! 虹 一 一 当 从 服务 器 接收 到 一 条 消 姑 时 被 调用 ; 
e exceptionCcaught() 一 一 在 处 理 过 程 中 引发 异常 时 被 调用 。 


代码 清单 2-3 客户 端的 channeLHandler 


@Sharable a-- ”标记 该 类 的 实例 可 以 被 多 个 channel 共 享 
public class EchoClientHandler extends 
SimpleChannelInboundHandler<ByteBuf> { 
@Override 
public void channelActive(ChannelHandlerContext ctx) { 
ctx.writeAndFlush(Unpooled.copiedBuffer("Netty rocks!", 
- “ 当 被 通知 Channe1 是 活跃 的 时 候 ， 发 送 一 条 消息 
CharsetUtil.UTF_8)); 
} 


@Override 








public void channelRead@(ChannelHandlerContext ctx, ByteBuf i 
System. out.printin( ~-- ”记录 已 接收 消息 的 转 储 
"Client received: " + in.toString(CharsetUtil.UTF_8) ) 
} 


@Override 
public void exceptionCaught(ChannelHandlerContext ctx, 一 - 
- 在 发 生 异 常 时 ， 记 录 错 误 并 关闭 Channe1 
Throwable cause) { 
Ccause.printStackTrace(); 
ctx.close(); 








首先 ， 你 重 写 了 channelActive() 方 法 ， 其 将 在 一 个 连接 创建 时 被 调 
用 。 这 确保 了 数据 将 会 被 尽 可 能 快 地 写 入 服务 器 ， 其 在 这 个 场景 下 是 一 
个 编码 了 字符 串 "Netty rocks!" 的 字 节 缓冲 区 。 


接 下 来 ， 你 重 写 了 channelRead0() 方 法 。 每 当 接 收 数据 时 ， 都 会 调 
用 这 个 方法 。 需 要 注意 的 是 ， 由 服务 器 发 送 的 消息 可 能 会 被 分 块 接 收 。 
也 就 是 说 ， 如 果 服 务 占 发 送 了 5 字 节 ， 那 么 不 能 保证 这 5 字 节 会 被 一 次 性 
接收 。 即 使 是 对 于 这 么 少量 的 数据 ，channelRead9() 方 法 也 可 能 会 被 调 
用 两 次 ， 第 一 次 使 用 一 个 持 有 3 字 节 的 ByteBuf (Nety Aas) ， 第 
二 次 使 用 一 个 持 有 2 字 节 的 ByteBuf。 作 为 一 个 面向 流 的 协议 ，TCP 保 证 
了 字 市 数组 将 会 按照 服务 器 发 送 它 们 的 顺序 被 接收 。 

重 写 的 第 三 个 方法 是 exceptioncaught()。 如 同 
在 EchoserverHandler 〈 见 代码 清单 2-2) 中 所 示 ， 记 录 Throwable， 关 闭 
Channel, 在 这 个 场景 下 ， 终止 到 服务 器 的 连接 。 


SimpleChannelInboundHandler-5 ChannelInboundHandler 





你 可 能 会 想 : ARIER mE H FD 
是 SimplechannelLlInboundHandler， 而 不 是 在 Echo- ServerHandler P 
所 使 用 的 channelInboundHandlerAdapter 呢 ? 这 和 两 个 因素 的 相互 
作用 有 关 : 业务 逻辑 如 何 处 理 消息 以 及 Netty 如 何 管理 资源 。 


在 客户 端 ， 当 channelReado() 方 法 完成 时 ， 你 已 丝 有 了 传 入 消 
i, FFA CAME ST. SAA 





时 ， SimplechanneLInboundHandler 负 责 责 释 放 指 加 保存 该 消息 的 
ByteBuf 的 内 存 引 用 。 


在 EchoserverHandler 中 ， 你 仍然 需 对 要 将 传 入 消息 回 送 给 发 送 
者 ， 而 write() 操 作 是 异步 的 ， 直 到 channeLRead() 方 法 返回 后 可 能 
仍然 没有 完成 《如 代码 清单 2-1 所 示 ) 。 为 此 ，EchoServerHandler 
扩展 了 channelInboundHandlerAdapter， 其 在 这 个 时 间 点 上 不 会 释 
BOE E. 


消息 在 EchoserverHandler 的 channeLReadcomplete() 方 法 中 ， 
当 writeAndFlush() 方 法 被 调用 时 被 释放 《〈 见 代码 清单 2-1) 。 


第 5 章 和 第 6 章 将 对 消息 的 资源 管理 进行 详细 的 介绍 
2.4.2 ”引导 客户 端 
如 同 将 在 代码 清单 2-4 中 所 看 到 的 ， 引 导 客 户 端 类 似 于 引导 服务 
器 ， 不 同 的 是 ， 客 户 闪 是 使 用 主机 和 应 口 参数 来 连接 远程 地 址 ， 也 就 是 
这 里 的 Echo 服务 器 的 地 址 ， 而 不 是 绑 定 到 一 个 一 直 被 监听 的 端口 。 
代码 清单 2-4 客户 端的 主 类 


public class EchoClient { 
private final String host; 
private final int port; 











public EchoClient(String host, int port) { 
this.host = host; 
this.port = port; 

I 


public void start() throws Exception { 
EventLoopGroup group = new NioEventLoopGroup(); 
try { --- 创建 Bootstrap 

Bootstrap b = new Bootstrap(); a-- ”指定 

EventLoopGroup 以 处 理 客 户 端 事件 ， 需 要 适用 于 NI0 的 实现 
b.group(group) 

.channel(NioSocketChannel.class) --- ”适用 于 
NIO 传 输 的 Channel 类 型 

.remoteAddress(new InetSocketAddress(host, port) 
- ”设置 服务 器 的 InetSocketAddr-ess 

.handler(new ChannelInitializer<SocketChannel> 
































O I{ --- 在 创建 Channel 时 ， 向 ChannelPipeline 中 添加 一 个 Echo- 
ClientHandler 实 例 
@Override 
public void initChannel(SocketChannel ch) 
throws Exception { 
ch.pipeline().addLast( 
new EchoClientHandler()); 














} 
H); 
ChannelFuture f = b.connect().sync(); --- ”连接 到 
远程 节点 ， 阻 塞 等 待 直到 连接 完成 
f.channel().closeFuture().sync(); --- 阻塞， 直到 
Channel 关 闭 
} finally { 
group. shutdownGracefully().sync(); --- ”关闭 线程 
池 并 且 释 放 所 有 的 资源 
} 
} 


public static void main(String[] args) throws Exception { 
if (args.length != 2) { 
System.err.printin( 


"Usage: " + EchoClient.class.getSimpleName() + 
" <host> <port>"); 
return; 


} 


String host = args[0]; 
int port = Integer.parseInt(args[1]); 
new EchoClient(host, port).start(); 





和 之 前 一 样 ， 使 用 了 NIO 传 输 。 注 意 ， 你 可 以 在 客户 端 和 服务 器 上 
分 别 使 用 不 同 的 传输 。 例 如 ， 在 服务 器 端 使 用 NIO 传 输 ， 而 在 客户 站 使 
用 OIO 传 输 。 在 第 4 音 ， 我 们 将 探讨 影响 你 选择 适用 于 特定 用 例 的 特定 
传输 的 各 种 因 系 和 场景 。 


让 我 们 回顾 一 下 这 一 市 中 所 介绍 的 要 点 : 


。 为 初始 化 客户 端 ， 创 建 了 一 个 Bootstrap 实 例 ; 

。 为 进行 事件 处 理 分 配 了 一 个 NioEventLoop6roup 实 例 ， 其 中 事件 处 理 
包括 创建 新 的 连接 以 及 处 理 入 站 和 出 站 数据 ; 

。 为 服务 器 连接 创建 了 一 个 InetsocketAddress 实 例 ; 


。 SER AEN, —~SEchoClientHandler KHSR ZIRE] CZ 
channel 的 ]) channelPipeline 中 ; 


° T 切 都 设置 完成 后 ， 调 用 Bootstrap ,connect() 方 法 连接 到 远程 节 


点 ; 


完成 了 客户 器 ， 你 便 可 以 铸 手 构建 并 测试 该 系统 了 。 
2.5 ”构建 和 运行 Echo 服务 器 和 客户 端 


AS, RITEN A a PE ASS íT Echo Ha All 2 ti FT ts SY Pr 
yd 


Echo% F vin/ HR at HJ Maven [#2 





这 本 书 的 附录 使 用 Echo 客户 端 /服务 器 工程 的 配置 ， 详 细 地 解 
释 了 多 模块 Maven 工 程 是 如 何 组 织 的 。 这 部 分 内 容 对 于 构建 和 运行 
该 应 用 程序 来 说 并 不 是 必 读 的 ， 之 所 以 推荐 阅读 这 部 分 内 容 ， 是 因 
为 它 能 帮助 你 更 好 地 理解 本 书 的 示例 以 及 Netty 项 目 本 喘 。 


2.5.1 运行 构建 


BE KA YEE Echo ZF i mA A a 请 进入 到 代码 示例 根 目录 下 的 
chapter2 目 录 执 行 以 下 命令 : 


mvn clean package 








这 将 产生 非常 类 似 于 代码 清单 2-5 所 示 的 输出 〔 我 们 已 经 编辑 忽略 了 几 
个 构建 过 程 中 的 非 必要 步骤 ) 。 


代码 清单 2-5 构建 Echo 客 户 端 和 服务 器 


[INFO] Scanning for projects... 

[INFO] ---------------------------------------------------------- 
[INFO] Reactor Build Order: 

[INFO] 

[INFO] Chapter 2. Your First Netty Application - Echo App 





[INFO] Chapter 2. Echo Client 
[INFO] Chapter 2. Echo Server 


[INFO] Building Chapter 2. Your First Netty Application - 2.0- 
SNAPSHOT 

[INFO] = 
[INFO] 

[INFO] --- maven-clean-plugin:2.6.1:clean (default- 
clean) @ chapter2 --- 


[INFO] 3 
[INFO] 
[INFO] --- maven-clean-plugin:2.6.1:clean (default-clean) 
@ echo-client --- 
[INFO] 
[INFO] --- maven-resources-plugin:2.6:resources (default- 
resources) 
@ echo-client --- 
[INFO] Using 'UTF-8' encoding to copy filtered resources. 
[INFO] Copying 1 resource 
[INFO] 
[INFO] --- maven-compiler-plugin:3.3:compile (default-compile) 
@ echo-client --- 
[INFO] Changes detected - recompiling the module! 
[INFO] Compiling 2 source files to 
\netty-in-action\chapter2\Client\target\classes 
[INFO] 
[INFO] --- maven-resources-plugin:2.6:testResources (default- 
testResources) 
@ echo-client --- 
[INFO] Using 'UTF-8' encoding to copy filtered resources. 
[INFO] skip non existing resourceDirectory 
\netty-in-action\chapter2\Client\src\test\resources 
[INFO] 
[INFO] --- maven-compiler-plugin:3.3:testCompile (default- 
testCompile) 
@ echo-client --- 
[INFO] No sources to compile 
[INFO] 
[INFO] --- maven-surefire-plugin:2.18.1:test (default-test) 
@ echo-client --- 


[INFO] No tests to run. 

[INFO] 

[INFO] --- maven-jar-plugin:2.6:jar (default-jar) @ echo-client - 

[INFO] Building jar: 
\netty-in-action\chapter2\Client\target\echo-client-2.0- 

SNAPSHOT. jar 


[INFO] SS 
[INFO] 
[INFO] --- maven-clean-plugin:2.6.1:clean (default-clean) 
@ echo-server --- 
[INFO] 
[INFO] --- maven-resources-plugin:2.6:resources (default- 
resources) 
@ echo-server --- 
[INFO] Using 'UTF-8' encoding to copy filtered resources. 
[INFO] Copying 1 resource 
[INFO] 
[INFO] --- maven-compiler-plugin:3.3:compile (default-compile) 
@ echo-server --- 
[INFO] Changes detected - recompiling the module! 
[INFO] Compiling 2 source files to 
\netty-in-action\chapter2\Server\target\classes 


[INFO] 
[INFO] ---  maven-resources-plugin:2.6:testResources (default- 
testResources) 


@ echo-server --- 
[INFO] Using 'UTF-8' encoding to copy filtered resources. 
[INFO] skip non existing resourceDirectory 
\netty-in-action\chapter2\Server\src\test\resources 
[INFO] 
[INFO] --- maven-compiler-plugin:3.3:testCompile (default- 
testCompile) 
@ echo-server --- 
[INFO] No sources to compile 
[INFO] 
[INFO] --- maven-surefire-plugin:2.18.1:test (default-test) 
@ echo-server --- 
[INFO] No tests to run. 
[INFO] 
[INFO] --- maven-jar-plugin:2.6:jar (default-jar) @ echo-server - 


[INFO] Building jar: 


\netty-in-action\chapter2\Server\target\echo-server -2.0- 
SNAPSHOT. jar 
[INFO] -Sa 
[INFO] Reactor Summary: 
[INFO] 
[INFO] Chapter 2. Your First Netty Application ... SUCCESS [ 0.13 
[INFO] Chapter 2. Echo Client .i SUCCESS [ 1.50 
[INFO] Chapter 2. Echo SOP cic seis ves eee wee ew ew SUCCESS [ 0.13 


[INFO] mare aen O naene oa a eade 


[INFO] Total time: 1.886 s 
[INFO] Finished at: 2015-11-18T17:14:10-05:00 
[INFO] Final Memory: 18M/216M 








下 面 是 前 面 的 构建 日 志 中 记录 的 主要 步骤 : 





e Maven 确 定 了 构建 顺序 : 首先 是 父 pom.xml， 然 后 是 各 个 模块 《〈 子 
THE) ; 

e 如 果 在 用 户 的 本 地 存储 库 中 没有 找到 Netty 构 件 ，Maven 将 从 公共 的 
Maven 存 储 库 中 下 载 它们 (此 处 未 显示 ); 

。 运行 了 构建 生命 周期 中 的 clean 和 compile 阶 段 ; 

e 最 后 执行 『- maven-jar-plugin。 


Maven Reactor 的 摘要 显示 所 有 的 项 目 都 已 经 被 成 功 地 构建 。 两 个 子 
工程 的 目标 目录 的 文件 列表 现在 应 该 类 似 于 代码 清单 2-6。 


代码 清单 2-6 构建 的 构件 列表 


Directory of nia\chapter2\Client\target 














03/16/2015 09:45 PM <DIR> classes 

03/16/2015 09:45 PM 5,614 echo-client-1.0- 
SNAPSHOT. jar 

03/16/2015 09:45 PM <DIR> generated-sources 
03/16/2015 09:45 PM <DIR> maven-archiver 

03/16/2015 09:45 PM <DIR> maven-status 


Directory of nia\chapter2\Server/target 


03/16/2015 09:45 PM <DIR> classes 


03/16/2015 09:45 PM 5,629 echo-server-1.0- 
SNAPSHOT. jar 

03/16/2015 09:45 PM <DIR> generated-sources 
03/16/2015 09:45 PM <DIR> maven-archiver 

03/16/2015 09:45 PM <DIR> maven-status 


2.5.2 ”运行 Echo 服务 器 和 客户 端 


要 运行 这 些 应 用 程序 组 件 ， 可 以 直接 使 用 Java 命 令 。 但 是 在 POM 文 
件 中 ， 己 经 为 你 配置 好 了 exec-maven-plugin 来 做 这 个 (参见 附录 以 获取 
详细 信息 ) 。 


并 排 打 开 两 个 控制 台 窗 口 ， 一 个 进 到 chapter2\Server 有 目录 中 ， 男 外 
一 个 进 到 chapter2\Client 目 录 中 。 


在 服务 絮 的 控制 台中 执行 这 个 命令 : 
mvn exec:java 


应 该 会 看 到 类 似 于 下 面 的 内 容 : 


[INFO] Scanning for projects... 


[INFO] Se 
[INFO] 
[INFO] >>> exec-maven-plugin:1.2.1:java (default-cli) > 
validate @ echo-server >>> 
[INFO] 
[INFO] <<< exec-maven-plugin:1.2.1:java (default-cli) < 
validate @ echo-server <<< 
[INFO] 
[INFO] --- exec-maven-plugin:1.2.1:java (default-cli) @ echo- 
server --- 
nia.chapter2.echoserver .EchoServer 
started and listening for connections on /0:0:0:0:0:0:0:0:999 


RA: as BCE C8 J FE OP RAI Re MEEA Pn A el] A P 
执行 同样 的 命令 : 





mvn exec:java 


应 该 会 看 到 下 面 的 内 容 : 


[INFO] Scanning for projects... 


[INFO] = 
[INFO] 
[INFO] >>> exec-maven-plugin:1.2.1:java (default-cli) > 
validate @ echo-client >>> 
[INFO] 
[INFO] <<< exec-maven-plugin:1.2.1:java (default-cli) < 
validate @ echo-client <<< 


[ INFO ] 
[INFO] --- exec-maven-plugin:1.2.1:java (default-cli) @ echo- 
client --- 
Client received: Netty rocks! 
[INFO] = 


[INFO] ES 


[INFO] Total time: 2.833 s 

[INFO] Finished at: 2015-03-16T22:03:54-04:00 

[INFO] Final Memory: 10M/309M 

[INFO] -== 


同时 在 服务 器 的 控制 侣 中， 应 该 会 看 到 这 个 
Server received: Netty rocks! 
每 次 运行 客户 端 时 ， 在 服务 器 的 控制 台中 你 都 能 看 到 这 条 日 志 语 句 。 
下 面 是 发 生 的 事 : 
(1) BERF mE EER, CRIE C HIH A 


rocks!; 


(2) ARA aR BEY IAS, FRR IB ae Pie 





Netty 


(3) 客户 端 报告 返回 的 消息 并 退出 。 


你 所 看 到 的 都 是 预期 的 行为 ， 现 在 让 我 们 看 看 故障 是 如 何 被 处 理 
的 。 服 务 器 应 该 还 在 运行 ， 所 以 在 服务 局 的 控制 台中 按 下 Ctrl+C 来 停止 
该 进程 。 一 旦 它 停 止 ， 就 再 次 使 用 下 面 的 命令 司 动 客户 端 : 


mvn exec:java 


代码 清单 2-7 展 示 了 你 应 该 会 从 客户 端的 控制 合 中 看 到 的 当 它 不 能 
连接 到 服务 器 时 的 输出 。 


代码 清单 2-7 Echo 客户 端的 异常 处 理 


[INFO] Scanning for projects... 
[ INFO ] 








[INFO] oS 
[INFO] 
[INFO] >>> exec-maven-plugin:1.2.1:java (default-cli) > 

validate @ echo-client >>> 
[INFO] 
[INFO] <<< exec-maven-plugin:1.2.1: java (default-cli) < 

validate @ echo-client <<< 
[INFO] 
[INFO] --- exec-maven-plugin:1.2.1:java (default-cli) @ echo- 
client --- 
[WARNING ] 
java.lang.reflect.InvocationTargetException 

at sun.reflect.NativeMethodAccessorImpl.invokeO(Native Me 


Caused by: java.net.ConnectException: Connection refused: 
no further information: localhost/127.0.0.1:9999 
at sun.nio.ch.SocketChannelImpl.checkConnect(Native Metho 
at sun.nio.ch.SocketChanneliImpl 
. finishConnect(SocketChanneliImpl. java: 739) 
at io.netty.channel.socket.nio.NioSocketChannel 
.doFinishConnect(NioSocketChannel. java: 208) 
at io.netty.channel.nio 
.AbstractNioChannel$AbstractNioUnsafe 
. finishConnect (AbstractNioChannel. java: 281) 
at io.netty.channel.nio.NioEventLoop 
. processSelectedKey(NioEventLoop.java:528) 


at io.netty.channel.nio.NioEventLoop. 
processSelectedKeysOptimized(NioEventLoop. java: 468) 

at io.netty.channel.nio.NioEventLoop 

. processSelectedKeys(NioEventLoop. java: 382) 

at io.netty.channel.nio.NioEventLoop 
.run(NioEventLoop. java: 354) 

at io.netty.util.concurrent.SingleThreadEventExecutor$2 
.run(SingleThreadEventExecutor.java:116) 

at io.netty.util.concurrent.DefaultThreadFactory 
$DefaultRunnableDecorator.run(DefaultThreadFactory.java:1 


[INFO] ---------------------------------------------------------- 
[INFO] Total time: 3.801 s 
[INFO] Finished at: 2015-03-16T22:11:16-04:00 
[INFO] Final Memory: 10M/309M 
[INFO] ---------------------------------------------------------- 
[ERROR] Failed to execute goal org.codehaus.mojo: 
exec-maven-plugin:1.2.1: java (default-cli) on project echo- 
client: 
An exception occured while executing the Java class. null 
InvocationTargetException: Connection refused: 
no further information: localhost/127.0.0.1:9999 - 
> [Help 1] 


发 生 了 什么 ”客户 端 试 图 连接 服务 器 ， 其 预期 运行 
在 localhost:9999 上 。 但 是 连接 失败 了 (和 预期 的 一 样 》 ’ 因为 服务 器 
在 这 之 前 就 已 经 停止 了 ， 所 以 在 客户 端 导致 了 一 
个 java.net.ConnectException。 这 个 异常 触发 了 EchoclientHandler 的 
a alia aa cca 打印 出 了 栈 跟 踪 并 关闭 了 channel〔 见 代码 清 
#2-3) 。 





2.6 ”小结 


在 本 章 中 ， 你 设置 好 了 开发 环境 ， 并 且 构 建 和 运行 了 你 的 第 一 于 
Netty 客 户 端 和 服务 器 。 昌 然 这 只 是 一 个 简单 的 应 用 程序 ， 但 是 它 可 以 
伸 绽 到 文 持 数 千 个 并 发 连接 一 一 每 秒 可 以 比 普 通 的 基于 套 接 字 的 Java 访 
用 程序 处 理 多 得 多 的 消息 。 





在 接 下 来 的 几 章 中 ， 你 将 看 到 更 多 关于 Netty 如 何 简化 可 伸缩 性 和 
并 发 性 的 例子 。 我 们 也 将 更 加 深入 地 了 解 Netty 对 于 关注 点 分 离 的 架构 
原则 的 文 持 。 通 过 提供 正确 的 抽象 来 解 耦 业务 逻辑 和 网 络 编程 逻辑 ， 
nea eee 而 又 不 危及 系统 的 稳定 





在 下 一 半 中 ， 我 们 将 提供 对 Netty 体 系 架构 的 概述 。 这 将 为 你 在 后 
续 的 章节 中 对 Netty 的 内 部 进行 深入 而 全 面 的 学 习 提 供 上 下 文 。 








[1] Netty 的 一 组 受 限 特性 可 以 运行 于 JDK 1.6， 但 是 JDK 8 或 者 更 高 版 本 
则 是 编译 时 必需 的 ， 包 括 运行 最 新 版 本 的 Maven。 


[2] 包括 Intelljj IDEA。 一 一 译 者 注 


[3] 也 可 以 通过 HomeBrew 或 者 Scoop 来 安装 Maven， 更 加 简单 方便 。 
iF Ait 


[4] KRE Cpending message) 是 指 目前 暂 存 于 
ChannelOutboundBuffer 中 的 消息 ， 在 下 一 次 调用 flush0 或 者 
writeAndFlush() 方 法 时 将 会 尝试 写 出 到 套 接 字 。 译 者 注 一 一 译 者 注 


[5] 这 里 对 于 所 有 的 客户 端 连接 来 说 ， 都 会 使 用 同一 
个 EchoserverHandler， 因为 其 被 标注 为 @sSharable， 这 将 在 后 面 的 章节 
中 讲 到 。 译 者 注 


[6] SimpleChannelInboundHandler H'JchannelReado () 方法 的 相 Kit 论 参 见 
https://github.com/netty/netty/ wiki/New-and-noteworthy-in- 
5.0#channelread0--messagereceived， 其 中 Netty5 的 开发 工作 已 经 关闭 。 
译 者 注 














第 3 章 “”Netty 的 组 件 和 设计 


本 章 主要 内 容 


Netty 的 技术 和 体系 结构 方面 的 内 容 
Channel, EventLoop 和 ChanneLFuture 
channelHandler 和 channelPipeline 


引导 


在 第 1 章 中 ， 我 们 给 出 了 Java 高 性 能 网 络 编程 的 历史 以 及 技术 基础 
的 小 结 。 这 为 Netty 的 核心 概念 和 构件 块 的 概述 提供 了 背景 。 


在 第 2 章 中 ， 我 们 把 我 们 的 讨论 范围 扩大 到 了 应 用 程序 的 开发 。 通 
过 构建 一 个 简单 的 客户 端 和 服务 器 ， 你 学 习 了 引导 ， 并 且 获 得 了 最 重要 
的 channelHandler API 的 实战 经 验 。 与 此 同时 ， 你 也 验证 了 自己 的 开发 
工具 都 能 正常 运行 。 


由 于 本 书 剩 下 的 部 分 都 创建 在 这 份 材料 的 基础 之 上 ， 所 以 我 们 将 从 
两 个 不 同 的 但 却 又 密切 相关 的 视角 来 探讨 Netty， 类 库 的 视角 以 及 框架 
的 视角 。 对 于 使 用 Netty 编 写 高 效 的 、 可 重用 的 和 可 维护 的 代码 来 说 
两 者 缺 一 不 可 。 


从 高 层次 的 角度 来 看 ，Netty 解 决 了 两 个 相应 的 关注 领域 ， 我 们 可 
将 其 大 致 标记 为 技术 的 和 体系 结构 的 。 首先， 它 的 基于 Java NIO 的 异步 
的 和 事件 驱动 的 实现 ， 保 证 了 高 负载 下 应 用 程序 性 能 的 最 大 化 和 可 伸缩 
性 。 其 次 ，Netty 也 包含 了 一 组 设计 模式 ， 将 应 用 程序 逻辑 从 网 络 层 解 
耘 ， 简 化 了 开 有 过程， 同时 也 最 大 限度 地 提高 了 可 测试 性 、 模 块 化 以 及 
代码 的 可 重用 性 。 


在 我 们 更 加 详细 地 研究 Netty 的 各 个 组 件 时 ， 我 们 将 密切 关注 它们 
是 如 何 通 过 协作 来 支撑 这 些 体系 结构 上 的 最 佳 实 践 的 。 通 过 遵循 同样 的 




















原则 ， 我 们 便 可 获得 Netty 所 提供 的 所 有 益处 。 牢 记 这 个 目标 ， 在 本 章 
中 ， 我 们 将 回顾 到 目前 为 止 我 们 介绍 过 的 主要 概念 和 组 件 。 


3.1 Channel, EventLoop#!ChannelFuture 
接 下 来 的 各 节 将 会 为 我 们 对 于 channel、EventLoop 和 channelFuture 


类 进行 的 讨论 增添 更 多 的 细节 ， 这 些 类 合 在 一 起 ， 可 以 被 认为 是 Netty 
网 络 抽象 的 代表 : 





Socket; 
控制 流 、 多 线程 处 理 、 并 发 ; 
异步 通知 。 


e Channel 
e EventLoop 
e ChannelFuture 








3.1.1 Channel? O 


基本 的 IO 操作 Cbind(). connect(). read()#lwrite()) 依赖 于 底 
层 网 络 传输 所 提供 的 原 语 。 在 基于 Java 的 网 络 编程 中 ， 其 基本 的 构造 
是 class Socket。Netty 的 channel 接 口 所 提供 的 API， 大 大 地 降低 了 直接 
使 用 Socket 类 的 复杂 性 。 此 外 ，channe1 也 是 拥有 许多 预定 义 的 、 专 门 
化 实现 的 广泛 类 层次 结构 的 根 ， 下 面 是 一 个 简短 的 部 分 清单 : 








EmbeddedChannel; 
LocalServerChannel; 
NioDatagramChannel; 
NioSctpChannel; 
NioSocketChannel. 


3.1.2 EventLoop 接 口 


EventLoop 定 义 了 Netty 的 核心 抽象 ， 用 于 处 理 连接 的 生命 周期 中 所 
发 生 的 事件 。 我 们 将 在 第 7 章 中 结合 Netty 的 线程 处 理 模型 的 上 下 文 对 
EventLoop 进 行 详细 的 讨论 。 目前， 图 3-1 在 高 层次 上 说 明了 
Channel. EventLoop、 Thread 以 及 EventLoopGroup 之 间 的 关系 。 






具有 4 个 EventLoop 
的 EventLoopGroup 


kvent Loop 
Event Loop 


使 用 ventLoopGroup 
所 提供 的 EventLoop 







Event Loop 


EventLoop 


Event Loop 


tameg | | 在 公共 


创建 Channel 使 用 EventLoop 处 理 


VOR 


4 EventLoop 





图 3-1 Channel, EventLoop#llEventLoopGroup 


一 个 EventLoopGroup 包 含 一 个 或 者 多 个 EventLoop; 

一 个 EventLoop 在 它 的 生命 周期 内 只 和 一 个 Thread 绑 定 ; 

所 有 由 EventLoop 处 理 的 MO 事件 都 将 在 它 专 有 的 Thread 上 被 处 理 ; 
一 个 channel 在 它 的 生命 周期 内 只 注册 于 一 个 EventLoop; 

一 个 EventLoop 可 能 会 被 分 配给 一 个 或 多 个 channel。 


注意 ， 在 这 种 设计 中 ， 一 个 给 定 channe1l 的 IO 操作 都 是 由 相同 的 
Thread 执 行 的 ， 实 际 上 消除 了 对 于 同步 的 需要 。 


3.1.3 ”ChannelFuture 接 口 


正如 我 们 已 经 解释 过 的 那样 ，Netty 中 所 有 的 IO 操作 都 是 异步 的 。 
因为 一 个 操作 可 能 不 会 立即 返回 ， 所 以 我 们 需要 一 种 用 于 在 之 后 的 某 个 
时 间 点 确定 其 结果 的 方法 。 为 此 ，Netty 提 供 了 channelFuture 接 口 ， 
其 addListener() 方 法 注册 了 一 个 channelFutureListener， 以 便 在 某 个 
操作 完成 时 无论 是 否 成 功 ) 得 到 通知 。 


关于 ChannelFuture 的 更 多 讨论 ”可 以 将 channelFuture 看 作 是 将 来 要 执行 的 
操作 的 结果 的 占 位 符 。 它 究竟 什么 时 候 被 执行 则 可 能 取决 于 若干 的 因素 ， 因 
此 不 可 能 准确 地 预测 ， 但 是 可 以 肯定 的 是 它 将 会 被 执行 。 此 外 ， 所 有 属于 同 
一 个 channel 的 操作 都 被 保证 其 将 以 它们 被 调用 的 顺序 被 执行 。 





























我 们 将 在 第 7 章 中 深入 地 讨论 EventLoop 和 EventLoopGroup。 


3.2 ChannelHandler#! ChannelPipeline 


现在 ， 我 们 将 更 加 细致 地 看 一 看 那些 管理 数据 流 以 及 执行 应 用 程序 
处 理 逻 辑 的 组 件 。 


3.2.1 ChannelHandler 接 口 





从 应 用 程序 开发 人 员 的 角度 来 看 ，Netty 的 主要 组 件 
是 channelHandler， 它 充当 了 所 有 处 理 入 站 和 出 站 数据 的 应 用 程序 逻辑 
的 容器 。 这 是 可 行 的 ， 因 为 channelHandler 的 方法 是 由 网 络 事件 (其 中 
术语 “事件 ”的 使 用 非常 广泛 ) 触发 的 。 事 实 上 ，channelHandler 可 专门 
用 于 几乎 任何 类 型 的 动作 ， 例 如 将 数据 从 一 种 格式 转换 为 男 外 一 种 格 
式 ， 或 者 处 理 转 换 过 程 中 所 抛 出 的 异常 。 


举例 来 说 ，channelInboundHandler 是 一 个 你 将 会 经 常 实现 的 子 接 
口 。 这 种 类 型 的 channelHandler 接 收入 站 事件 和 数据 ， 这 些 数据 随后 将 
会 被 你 的 应 用 程序 的 业务 逻辑 所 处 理 。 当 你 要 给 连接 的 客户 端 发 送 啊 应 
时 ， 也 可 以 从 channelInboundHandler 冲 刷 数 据 。 你 的 应 用 程序 的 业务 逻 
辑 通常 驻 留 在 一 个 或 者 多 个 channeLInboundHandler 中 。 





3.2.2 ”ChannelPipeline 接 口 


channelPipeline 为 channelHandler 链 提供 了 容器 ， 并 定义 了 用 于 在 
该 链 上 传播 入 站 和 出 站 事件 流 的 API。 当 channel 被 创建 时 ， 它 会 被 自动 
地 分 配 到 它 专属 的 channelPipeline。 


ChannelHandler 安 装 到 channelPipeline 中 的 过 程 如 下 所 示 : 


@ 一 个 channelInitializer 的 实现 被 注册 到 Į ServerBootstrap HH, 

e 当 channelInitializer.initchannel() 方 法 被 调用 

时 ，channelInitializer 将 在 channelPipeline 中 安装 一 组 自 定 义 的 
ChannelHandler; 

channelInitializer 将 它 上 自己 从 channelPipeline 中 移 除 。 


为 了 审查 发 送 或 者 接收 数据 时 将 会 发 生 什 么 ， 让 我 们 来 更 加 深入 地 
研究 channelPipeline 和 channelHandler 之 间 的 共生 关系 吧 。 


channelHandler 是 专 为 支持 广泛 的 用 途 而 设计 的 ， 可 以 将 它 看 作 是 
处 理 往来 channel- Pipeline 事 件 (包括 数 据 ) 的 任何 代码 的 通用 容器 。 
图 3-2 说 明了 这 一 点 ， 其 展示 了 从 channel- Handler 派 生 的 
channelInboundHandler 和 channel0utboundHandler 接 口 。 





<<intertace>> 
Channe|Handller 


«interface» «Interface» 
Channel InboundHandler ChanmelOutboundHandler 


图 3-2 channelHandler 类 的 层次 结构 








使 得 事件 流 经 channelPipeline 是 channelHandler 的 工作 ， 它们 是 在 
应 用 程序 的 初始 化 或 者 引导 阶段 被 安装 的 。 这 些 对 象 接收 事件 、 执 行 它 
们 所 实现 的 处 理 逻 辑 ， 并 将 数据 传递 给 链 中 的 下 一 个 channelHandler。 
它们 的 执行 顺序 是 由 它们 被 添加 的 顺序 所 决定 的 。 实 际 上 ， 被 我 们 称 
为 channelPipeline 的 是 这 些 channelHandler 的 编排 顺序 。 


图 3-3 说 明了 一 个 Netty 应 用 程序 中 入 站 和 出 站 数据 流 之 间 的 区 别 。 


从 一 个 客 忆 器 应 用 程序 的 角度 来 看 ， 如 果 事 件 的 运动 方 癌 是 从 客户 端 到 
服务 器 端 ， 那 么 我 们 称 这 些 事件 为 出 站 的 ， 反 之 则 称 为 入 站 的 。 











Socket/Transport 


ChannelPipeline 


ChannelInboundHandler f--# ChannelInboundHandler 


ChannelOutboundHandler Channel0OutboundHandler 





头 部 Ei 
图 3-3 包含 入 站 和 出 站 channelHandler 的 channelPipeline 


图 3-3 也 显示 了 入 站 和 出 站 channelHandler 可 以 被 安装 到 同一 
个 channelPipeline 中 。 如 果 一 个 消息 或 者 任何 其 他 的 入 站 事件 被 读 取 ， 
那么 它 会 从 channelPipeline 的 头 部 开始 流动 ， 并 被 传递 给 第 一 
个 channelInboundHandler。 这 个 channelHandler 不 一 定 会 实际 地 修改 数 
据 ， 有 具体 取决 于 它 的 具体 功能 ， 在 这 之 后 ， 数 据 将 会 被 传递 给 链 中 的 下 
一 个 channelInboundHandler。 最 终 ， 数据 将 会 到 达 channelPipeline 的 


尾 端 ， 届 时 ， 上 所 有 处 理 就 都 结束 了 。 


数据 的 出 站 运动 〈 即 正在 被 号 的 数据 ) 在 概念 上 也 是 一 样 的。 在 这 
种 情况 下 ， 数 据 将 从 channeloutboundHandler 链 的 尾 端 开 始 流动 ， 直 到 
它 到 达 链 的 头 部 为 止 。 在 这 之 后 ， 出 站 数据 将 会 到 达 网 络 传输 层 ， 这 里 
显示 为 socket 。 通 常情 况 下 ， 这 将 触发 一 个 写 操 作 。 





关于 入 站 和 出 站 ChannelHandler 的 更 多 讨论 





通过 使 用 作为 参数 传递 到 每 个 方法 的 channelHandlercontext， 
事件 可 以 被 传递 给 当前 channelHandler 链 中 的 下 一 
个 channelHandler。 因 为 你 有 时 会 忽略 那些 不 感 兴趣 的 事件 ， 所 以 
Netty 提 供 了 抽象 基 类 channelInboundHandlerAdapter 和 
ChannelOutboundHandlerAdapter. 通过 调用 channelHandlerContext 
上 的 对 应 方法 ， 每 个 都 提供 了 简单 地 将 事件 传递 给 下 一 
个 channelHandler 的 方法 的 实现 。 随 后 ， 你 可 以 通过 重 写 你 所 感 兴 





趣 的 那些 方法 来 扩展 这 些 类 。 


鉴于 出 站 操作 和 入 站 操作 是 不 同 的 ， 你 可 能 会 想 知道 如 果 将 两 个 类 
别 的 channelHandler 都 混合 添加 到 同一 -7 channelPipeline 中 会 发 生 什 
么 。 虽 然 channeLInboundhandle 和 channeloutboundHandle 都 扩展 自 
channelHandler， 但 是 Netty 能 区 分 channelIn-boundHandler 实 现 和 
channel0utboundHandler 实 现 ， 并 确保 数据 只 会 在 具有 相同 定向 类 型 的 
两 个 channelHandler 之 间 传 递 。 


当 channelHandler 被 添加 到 channelPipeline 时 ， 它 将 会 被 分 配 一 
个 channelHandler-Context， 其 代表 J ChannelHandler Fill 
channelPipeline 之 间 的 绑 定 。 虽 然 这 个 对 象 可 以 被 用 于 获取 底层 的 
channel， 但 是 它 主 要 还 是 被 用 于 写 出 站 数据 。 


在 Netty 中 ， 有 两 种 发 送 消 息 的 方式 。 你 可 以 直接 写 到 channe1l 中 ， 
也 可 以 写 到 和 channel-Handler 相 关联 的 channelHandlercontext 对 象 
中 。 前 一 种 方式 将 会 导致 消息 从 channel-Pipeline 的 尾 端 开始 流动 ， 而 
后 者 将 导致 消 恩 从 channelPipeline 中 的 下 一 个 channel- Handler 开 始 流 
动 。 











3.2.3 ”更 加 深入 地 了 解 ChannelHandler 


正如 我 们 之 前 所 说 的 ， 有 许多 不 同类 型 的 channelHandler， 它 们 各 
自 的 功能 主要 取决 于 它们 的 超 类 。Netty 以 适配器 类 的 形式 提供 了 大 量 
默认 的 channelHandler 实 现 ， 其 时 在 简化 应 用 程序 处 理 逻 辑 的 开发 过 
程 。 你 已 经 看 到 了 ，channelPipeline 中 的 每 个 channeLHandler 将 负责 把 
事件 转发 到 链 中 的 下 一 个 channelHandler。 这 些 适配器 类 (及 它们 的 子 
See 所 以 你 可 以 只 重 写 那 些 你 想 要 特殊 处 理 的 方 
法 和 5 








有 一 些 适 配器 类 可 以 将 编写 A 定义 的 channelHandler 所 需要 的 
努力 降 到 最 低 限 度 ， 因 为 它们 提供 了 定义 在 对 应 接口 中 的 所 有 方法 
的 默认 实现 。 








下 面 这 些 是 编写 自 定 义 ChannelHandler 时 经 常会 用 到 的 适配器 
ZB; 


ChannelHandlerAdapter 
ChannelInboundHandlerAdapter 
ChannelOutboundHandlerAdapter 
ChannelDuplexHandler 


接 下 来 我 们 将 研究 3 个 channelHandler 的 子 类 型 : iar MEIAS 
和 simpleChannel-InboundHandler<T> — 
ChannelInboundHandlerAdapter 的 一 个 子 类 。 


3.2.4 ”编码 器 和 解码 器 


当 你 通过 Netty 发 送 或 者 接收 一 个 消息 的 时 候 ， 束 将 会 发 生 一 次 数 
据 转 换 。 入 站 消 姑 会 被 解码 ;， 也 就 是 说 ， 从 字 市 转换 为 为 一 种 格式 ， 通 
常 是 一 个 Java 对 象 。 如 果 是 出 站 消息 ， 则 会 发 生 相 反方 同 的 转换 ， 它 将 
从 它 的 当前 格式 被 编码 为 字 节 。 这 两 种 方 辐 的 转换 的 原因 很 饮 单 :网络 
数据 总 是 一 系列 的 字 市 。 


对 应 于 特定 的 需要 ，Netty 为 编码 器 和 解码 器 提供 了 不 同类 型 的 抽 
象 关 。 例 如 ， 你 的 应 用 程序 可 能 使 用 了 一 种 中 间 格 式 ， 而 不 需要 立即 将 
消息 转换 成 字 节 。 你 将 仍然 需要 一 个 编码 器 ， 但 是 它 将 派生 目 一 个 不 同 
的 超 类 。 为 了 确定 合适 的 编码 器 类 型 ， 你 可 以 应 用 一 个 简单 的 命名 约 
Eo 











通常 来 说 ， 这 些 基 类 的 名 称 将 类 似 于 ByteToMessageDecoder 
或 MessageToByte-Encoder。 对 于 特殊 的 类 型 ， 你 可 能 会 发 现 类 似 于 
ProtobufEncoder 和 ProtobufDecoder 这 样 的 名 称 预 置 的 用 来 支持 
Google 的 Protocol Buffers。 


严格 地 说 ， 其 他 的 处 理 堪 也 可 以 完成 编码 器 和 解码 器 的 功能 。 但 
是 ， 正 如 有 用 来 简化 channelHandler 的 创建 的 适配器 类 一 样 ， 所 有 由 
Netty 提 供 的 编码 器 /解码 器 适配器 类 都 实现 了 channeloutboundHandler 或 
者 channelInboundHandler 接 口 。 


你 将 会 发 现 对 于 入 站 数据 来 说 ，channelRead 方 法 /事件 已 经 被 重 写 





了 。 对 于 每 个 从 入 站 channel 读 取 的 消息 ， 这 个 方法 都 将 会 被 调用 。 随 
后 ， 它 将 调用 由 预 置 解码 器 所 提供 的 decode() 方 法 ， 并 将 已 解码 的 字 节 
转发 给 channelPipeline 中 的 下 一 个 channelInboundHandler ð 


EAA SABE ABBOT A: 编码 器 将 消 明 转换 为 字 节 ， 并 将 它 
们 转发 给 下 一 个 channeloutboundHandler。 








3.2.5 ”抽象 类 SimpleChannelInboundHandler 


最 常见 的 情况 是 ， 你 的 应 用 程序 会 利用 一 个 channelHandler 来 接收 
解码 消息 ， 并 对 该 数据 应 用 业务 逻辑 。 要 创建 一 个 这 样 的 
channelHandler， 你 只 需要 扩 展 基 类 simplechannel- 
InboundHandler<T>， 其 中 T 是 你 要 处 理 的 消息 的 Java 类 型 。 在 这 
个 channelHandler 中 ， 你 将 需要 重 写 基 类 的 一 个 或 者 多 个 方法 ， 并 且 获 
取 一 个 到 channelHandlercontext 的 引用 ， 这 个 引用 将 作为 输入 参数 传递 
给 channelHandler 的 所 有 方法 。 


在 这 种 类 型 的 channelHandler 中 ， 最 重要 的 方法 
是 channelRead0(channel-Handlercontext,T)。 除 了 要 求 不 要 阻塞 当前 
的 VO 线程 之 外 ， 其 具体 实现 完全 取决 于 你 。 我 们 稍 后 将 对 这 一 主题 进 
行 更 多 的 说 明 。 


3.3 引导 

















Netty 的 引导 类 为 应 用 程序 的 网 络 层 配置 提供 了 容器 ， 这 涉及 将 一 
个 进程 绑 定 到 茶 个 指定 的 端口 ， 或 者 将 一 个 进程 连接 到 另 一 个 运行 在 某 
个 指定 主机 的 指定 端口 上 的 进程 。 


通常 来 说 ， 我 们 把 前 面 的 用 例 称 作 引 导 一 个 服务 器 ， 后 面 的 用 例 称 
作 引 导 一 个 客户 喘 。 虽 然 这 个 术语 简单 方便 ， 但 是 它 略 微 撮 站 了 一 个 重 
要 的 事实 ， 即 “服务 器 ?和 “客户 疹 ? 实 际 上 表示 了 不 同 的 网 络 行为 ， 换 句 
话说 ， 是 监听 传 入 的 连接 还 是 创建 到 一 个 或 者 多 个 进程 的 连接 。 




















面向 连接 的 协议 ”请 记 住 ， 严 格 来 说 , “连接 ”这 个 术语 仅 适 用 于 面向 连接 的 
协议 ， 如 TCP， 其 保证 了 两 个 连接 端点 之 间 消 息 的 有 序 传递 。 



































因此 ， 有 两 种 类 型 的 引导 : 一 种 用 于 客户 端 〈 简 单 地 称 
为 Bootstrap ) ， 而 男 一 种 (serverBootstrap) 用 于 服务 器 。 无 论 你 的 
应 用 程序 使 用 哪 种 协议 或 者 处 理 哪 种 类 型 的 数据 ， 唯 一 决定 它 使 用 哪 种 





引导 类 的 是 它 是 作为 一 个 客户 端 还 是 作为 一 个 服务 器 。 表 3-1 比 较 了 这 
两 种 类 型 的 引导 类 。 


表 3-1 比较 Bootstrap 类 


> nm 
类 IJ Bootstrap ServerBootstrap 
y = 一 一 | 


网 络 编程 中 的 作用 | 连接 到 远程 主机 和 端口 | 绑 定 到 一 个 本 地 端口 


这 两 种 类 型 的 引导 类 之 间 的 第 一 个 区 别 已 经 讨论 过 
J: serverBootstrap 将 绑 定 到 一 个 端口 ， 因 为 服务 器 必须 要 监听 连接 ， 
而 Bootstrap 则 是 由 想 要 连接 到 远程 节点 的 客户 端 应 用 程序 所 使 用 的 。 


第 二 个 区 别 可 能 更 加 明显 。 引 导 一 个 客户 端 只 需要 一 
个 EventLoopGroup， 但 是 一 个 serverBootstrap 则 需要 两 个 (也 可 以 是 同 
一 个 实例 ) 。 为 什么 呢 ? 


因为 服务 器 需要 两 组 不 同 的 channel。 第 一 组 将 只 包含 一 
个 serverchanne1l， 代 表 服 务 器 上 自身 的 已 绑 定 到 某 个 本 地 端口 的 正在 监 
听 的 套 接 字 。 而 第 二 组 将 包含 所 有 已 创建 的 用 来 处 理 传 入 客户 端 连 接 
(对 于 每 个 服务 器 已 经 接受 的 连接 都 有 一 个 ) 的 channel。 图 3-4 说 明了 
这 个 模型 ， 并 且 展 示 了 为 何 需 要 两 个 不 同 的 EventLoopGroup。 


































HE Mvent Loop 
AaventLoooGroup 


EventLoop 
EventLoop 


dii 


EventLoopsroup 
HeventLoop 


ventLoop 


BventLoop 






derverChannel 














有 人 Evatlom 


MeventLoooGroun 
Event Loop ventLoop 


BventLoop{ Event Loop 


RE 


Event LoopGroup 
MEventLoop 


图 3-4 具有 两 个 EventLoopGroup 的 服务 器 


与 serverchannel 相 关联 的 EventLoopGroup 将 分 配 一 个 负责 为 传 入 连 
接 请 求 创建 channel 的 EventLoop。 一 旦 连接 被 接受 ， 第 二 


个 EventLoopGroup 就 会 给 它 的 channel 分 配 一 个 EventLoop。 

3.4 ”小结 

在 本 章 中 ， 我 们 从 技术 和 体系 结构 这 两 个 角度 探讨 了 理解 Netty 的 
重要 性 。 我 们 也 更 加 详细 地 重新 审视 了 之 前 引入 的 一 些 概念 和 组 件 ， 特 


别 是 channeLHandler、 ChannelPipeline#ll 引 导 o 








特别 地 ， 我 们 讨论 了 channelHandler 类 的 层次 结构 ， 并 介绍 了 编码 
器 和 解码 器 ， 描 述 了 它们 在 数据 和 网 络 字 节 格式 之 间 来 掉头 换 的 互补 功 


au, 
HE o 


下 面 的 许多 章节 都 将 致力 于 深入 研究 这 些 组 件 ， 而 这 里 所 呈现 的 概 
览 应 该 有 助 于 你 对 整体 的 把 控 。 


下 一 章 将 探索 Netty 所 提供 的 不 同类 型 的 传输 ， 以 及 如 何 选 择 一 个 
最 适合 于 你 的 应 用 程序 的 传输 。 








[2] 实际 上 ，serverBootstrap 类 也 可 以 只 使 用 一 个 EventLoopGroup， 此 
时 其 将 在 两 个 场景 下 共享 同一 个 EventLoopGroup。 译 者 注 





[1 或 者 用 于 客户 端的 Bootstrap。 一 一 译 者 注 
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本 章 主要 内 容 


。0OIO 一 一 阻塞 传输 








© NIO 一 一 异步 传输 
e Local JVM 内 部 的 异步 通信 


e Embedded 一 一 测试 你 的 channelHandler 


流 经 网 络 的 数据 总 是 具有 相同 的 类 型 : 字 节 。 这 些 字 节 是 如 何 流动 
的 主要 取决 于 我 们 所 说 的 网 络 传输 一 一 一 个 帮助 我 们 抽象 的 层 数 据 传输 
机 制 的 概念 。 用 户 并 不 关心 这 些 细节 ; 他 们 只 想 确 保 他 们 的 字 市 被 可 靠 
地 发 送 和 接收 。 


如 果 你 有 Java 网 络 编程 的 经 验 ， 那 么 你 可 能 已 经 发 现 ， 在 东 些 时 
候 ， 你 需要 文 撑 比 预 期 多 很 多 的 并 发 连接 。 如 果 你 随后 尝试 从 阻 竖 传输 
切换 到 非 阻 窗 传输 ， 那 么 你 可 能 会 因为 这 两 种 网 络 API 的 截然 不 同 而 过 


到 问题 。 


然而 ，Netty 为 它 所 有 的 传输 实现 提供 了 一 个 通用 API， 这 使 得 这 种 
转换 比 你 直接 使 用 JDK 所 能 够 达到 的 简单 得 多 。 所 产生 的 代码 不 会 被 实 
现 的 细节 所 污染 ， 而 你 也 不 需要 在 你 的 整个 代码 库 上 进行 广泛 的 重 构 。 
简 而 言 之 ， 你 可 以 将 时 间 花 在 其 他 更 有 成 效 的 事情 上 。 


在 本 章 中 ， 我 们 将 学 习 这 个 通用 API， 并 通过 和 JDK 的 对 比 来 证 明 
它 极 其 简单 易 用 。 我 们 将 阐述 Netty 自 带 的 不 同 传输 实现 ， 以 及 它们 各 
自 适 用 的 场景 。 有 了 这 些 信息 ， 你 会 发 现 选择 最 适合 于 你 的 应 用 程序 的 
选项 将 是 直截了当 的 。 


本 章 的 唯一 前 提 是 Java 编 程 语言 的 相关 知识 。 有 网 络 框架 或 者 网 络 
编程 相关 的 经 验 更 好 ， 但 不 是 必需 的 。 

















我 们 先 来 看 一 看 传输 在 现实 世界 中 是 如 何 工作 的 。 
4.1 案例 研究 : 传输 迁移 


我 们 将 从 一 个 应 用 程序 开始 我 们 对 传输 的 学 习 ， 这 个 应 用 程序 只 人 简 
单 地 接受 连接 ， 疝 客户 端 写 “Hil*， 然 后 天 闭 连 接 。 


4.1.1 不 通过 Netty 使 用 OIO 和 NIO 


我 们 将 介绍 仅 使 用 了 JDK API 的 应 用 程序 的 阻塞 〈OIO) 版 本 和 腊 
步 (NIO) 乒 本 。 代 码 清单 4-1 展 示 了 其 阻塞 版 本 的 实现 。 如 果 你 曾 孚 受 
过 使 用 JDK 进 行 网 络 编程 的 乐趣 ， 那 么 这 段 代码 将 唤起 你 美好 的 回忆 。 


代码 清单 4-1 未 使 用 Netty 的 阻塞 网 络 编程 


public class PlainOioServer { 
public void serve(int port) throws IOException { 
final ServerSocket socket = new ServerSocket(port); © - 
- “将 服务 器 绑 定 到 指定 端口 
try { 
for (;;) { 
final Socket clientSocket = socket.accept(); - - 





System. out.printin( 
"Accepted connection from " + clientSocket); 
new Thread(new Runnable() { =- -- 创建 一 个 新 的 线程 来 处 




















@Override 
public void run() { 
OutputStream out; 
try { 
out = clientSocket.getOutputStream(); 
out.write("Hi!\r\n".getBytes( =- -- 将 消 


\ 
us 
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Charset.forName("UTF-8"))); 
out.flush(); 
clientSocket.close(); =- -- 关闭 连接 





} 
catch (IOException e) { 
e.printStackTrace(); 


} 
finally { 
try { 


clientSocket.close(); 


} 

catch (IOException ex) { 
// ignore on close 

} 


} 
} 
}).start(); =- -- 启动 线程 


catch (IOException e) { 
e.printStackTrace(); 
} 


这 上 段 代 码 完 全 可 以 处 理 中 等 数量 的 并 发 客户 端 。 但 是 随 厦 应 用 程序 
变 得 流行 起 来 ， 你 会 发 现 它 并 不 能 很 好 地 伸缩 到 文 撑 成 干 上 万 的 并 有 连 
入 连接 。 你 决定 改 用 异步 网 络 编程 ， 但 是 很 快 就 发 现 异 步 API 征 完全 不 
同 的 ， 以 至 于 现在 你 不 得 不 重 写 你 的 应 用 程序 。 

其 非 阻塞 版 本 如 代码 清单 4-2 所 示 。 
代码 清单 4-2 未 使 用 Netty 的 异步 网 络 编程 


public class PlainNioServer { 
public void serve(int port) throws IOException { 





ServerSocketChannel serverChannel = ServerSocketChannel.open(); 
serverChannel.configureBlocking(false) ; 
ServerSocket ssocket = serverChannel.socket(); 
InetSocketAddress address = new InetSocketAddress(port); 
ssocket.bind(address); =- -- 将 服务 器 绑 定 到 选 定 的 端口 
Selector selector = Selector.open(); ~ -- 打开 Selector 
来 处 理 Channel 
































serverChannel.register(selector, SelectionKey.OP_ACCEPT ) ; = = 
- 将 ServerSocket 注 册 到 Selector 以 接受 连接 





final ByteBuffer msg = ByteBuffer.wrap("Hi!\r\n".getBytes()); 

















for (;;) { 
try { 
selector.select(); << -- 等 待 需 要 处 理 的 新 事件 ， 阻塞 将 一 














直 持 续 到 下 一 个 传 入 事件 
} catch (IOEXception ex) { 


ex.printStackTrace(); 
// handle exception 
break; 


} 


Set<SelectionKey> readyKeys = selector.selectedKeys(); =- -- #& 
取 所 有 接收 事件 的 Selection-Key 实例 
Iterator<SelectionKey> iterator = readyKeys.iterator(); 
while (iterator.hasNext()) { 
Selectionkey key = iterator.next(); 
iterator .remove(); 
try { 
if (key.isAcceptable()) { =- -- 检查 事件 是 否 是 
个 新 的 已 经 就 绪 可 以 被 接受 的 连接 
ServerSocketChannel server = 
(ServerSocketChannel)key.channel(); 
SocketChannel client = server.accept(); 
client.configureBlocking( false); 

















client.register(selector, SelectionKey.OP_WRITE | ~ -- 接受 客户 
端 ， 并 将 它 注 册 到 选择 器 
SelectionKey.OP_READ, msg.duplicate()); 
System.out.printin( 
"Accepted connection from " + client); 


} 
if (key.iswritable()) { ~ -- 检查 套 接 字 是 否 已 经 准 
备 好 写 数据 
SocketChannel client = 
(SocketChannel)key.channel(); 
ByteBuffer buffer = 
(ByteBuffer )key.attachment(); 
while (buffer.hasRemaining()) { 
if (client.write(buffer) == 0) { - - 
- “将 数据 写 到 已 连接 的 客户 端 


} 
} 
client.close(); ~ -- 关闭 连接 








break; 


} catch (IOException ex) { 
key.cancel(); 
try { 
key.channel().close(); 
} catch (IOException cex) { 
// ignore on close 
} 


如 同 你 所 看 到 的 ， 虽 然 这 段 代码 所 做 的 事情 与 之 前 的 oo 
同 ， 但 是 代码 却 截 然 不 同 。 如 果 为 了 用 于 非 阻塞 IO 而 重新 实现 
单 的 应 用 程序 ， 都 需要 一 次 完全 的 重 写 的 话 ， 那 么 不 难 想象 ， HLL 
复杂 的 应 用 程序 需要 付出 什么 样 的 努力 。 


鉴于 此 ， 让 我 们 来 看 看 使 用 Netty 实 现 该 应 用 程序 将 会 是 什么 样子 
IE. 


4.1.2 ”通过 Netty 使 用 OIO 和 NIO 


我 们 将 先 编写 这 个 应 用 程序 的 男 一 个 阻 窟 版 本 ， 这 次 我 们 将 使 用 
Netty 框 架 ， 如 代码 清单 4-3 所 示 。 


代码 清单 4-3 ”使 用 Netty 的 阻 豆 网 络 处 理 


public class NettyOioServer { 
public void server(int port) throws Exception { 
final ByteBuf buf = Unpooled.unreleasableBuffer ( 
Unpooled.copiedBuffer("Hi!\r\n", Charset.forName("UTF- 
8"))); 


EventLoopGroup group = new OioEventLoopGroup(); 
try { 
ServerBootstrap b = new ServerBootstrap(); - -- 创建 
Server -Bootstrap 
b.group(group ) 
.channel(OioServerSocketChannel.class) =- -- 使 用 
0ioEventLoopGroup 以 允许 阻塞 模式 ( 旧 的 I/0) 
.localAddress(new InetSocketAddress(port)) 
.childHandler(new ChannelInitializer<SocketChannel> 
O { ~ -- 指定 Channel-Initializer， 对 于 每 个 已 接受 的 连接 都 调用 它 
@Override 
public void initChannel(SocketChannel ch) 
throws Exception { 
ch.pipeline().addLast( 
new ChannelInboundHandlerAdapter() { =- 
- 添加 一 个 channel-InboundHandler-Adapter 以 拦截 和 处 理事 件 
@Override 
public void channelActive( 
ChannelHandlerContext ctx) 
throws Exception { 
































ctx.writeAndFlush(buf.duplicate() ) 





























.addListener ( 
ChannelFutureListener.CLOSE) ; - -- HAE SRS Poin, FESO 
ChannelFutureListener， 以 便 消息 一 被 写 完 就 关闭 连接 
H); 
H); | 
ChannelFuture f = b.bind().sync(); ”  -- 绑 定 服务 器 以 接受 
连接 
f.channel().closeFuture().sync(); 
} finally { 
group.shutdownGracefully().sync(); =- -- 释放 所 有 的 资源 
} 
} 





接 下 来 ， 我 们 使 用 Netty 和 非 阻 窒 W/O 来 实现 同样 的 逻辑 。 
4.1.3” 非 阻塞 的 Netty 版 本 


代码 清单 4-4 和 代码 清单 4-3 几 乎 一 模 一 样 ， 除 了 高 亮 显 示 的 那 两 
a (OIO) 传输 切换 到 非 阻 塞 CNIO) 传输 需要 做 的 所 
Z > 更 。 


代码 清单 4-4 使 用 Netty 的 异步 网 络 处 理 


public class NettyNioServer { 
public void server(int port) throws Exception { 
final ByteBuf buf = Unpooled.copiedBuffer("Hi!\r\n", 
Charset. forName("UTF-8")); 











EventLoopGroup group = new NioEventLoopGroup(); -~ -- X 
非 阻塞 模式 使 用 NioEventLoopGroup 
try { 
ServerBootstrap b = new ServerBootstrap(); =- -- 创建 
ServerBootstrap 


b.group(group) .channel(NioServerSocketChannel.class) 
.LocalAddress(new InetSocketAddress(port ) ) 
.childHandler(new ChannelInitializer() { ~ -- 指定 
Channe1-Initializer， 对 于 每 个 已 接受 的 连接 都 调用 它 
@Override 
public void initChannel(SocketChannel ch) 
throws Exception{ 
ch.pipeline().addLast( 








new ChannelInboundHandlerAdapter() { © - 
- 添加 ChannelInbound-HandlerAdapter 以 接收 和 处 理事 件 
@Override 
public void channelActive( 














ChannelHandlerContext ctx) throws Exception { ~ -- 将 消息 写 到 客户 
端 ， 并 添加 ChannelFutureListener， 以 便 消息 一 被 写 完 就 关闭 连接 
ctx.writeAndFlush(buf.duplicate() ) 
.addListener ( 























ChannelFutureListener.CLOSE) ; 





} 
H); 
}) i 
ChannelFuture f = b.bind().sync(); - -- 绑 定 服务 器 以 接 
受 连 接 
f.channel().closeFuture().sync(); 
} finally { 
group.shutdownGracefully().sync(); “= -- 释放 所 有 的 资源 
} 
} 





因为 Netty 为 每 种 传输 的 实现 都 暴露 了 相同 的 API， 所 以 无 论 选 用 哪 
一 种 传输 的 实现 ， 你 的 代码 都 仍然 几乎 不 受 影响 。 在 所 有 的 情况 下 ， 传 
输 的 实现 都 依赖 于 interface Channel. ChannelPipeline#il 
ChannelHandler. 


在 看 过 一 些 使 用 基于 Netty 的 传输 的 这 些 优点 之 后 ， 让 我 们 仔细 看 
FARAPI F - 


4.2 ”传输 API 





传输 API 的 核心 是 interfacechanne1， 它 被 用 于 所 有 的 IO 操 
作 。channel 类 的 层次 结构 如 图 4-1 所 示 。 























图 4-1 channel 接口 的 层次 结构 


如 图 所 示 ， 每 个 channel 都 将 会 被 分 配 一 个 channelPipeline 和 
ChannelConfig。 channelconfig 包 含 了 该 channel 的 所 有 配置 设置 ， F H. 
文 持 热 更 新 。 由 于 特定 的 传输 可 能 具有 独特 的 设置 ， 所 以 它 可 能 会 实现 
一 个 channelconfig 的 子 类 型 。 (请 参考 channelconfig 实 现 对 应 的 
Javadoc。) 


由 于 channel 是 独一无二 的 ， 所 以 为 了 保证 顺序 将 channel 声 明 
为 java.1lang.comparable 的 一 个 子 接口 。 因 此 ， 如 果 两 个 不 同 的 channel 
实例 都 返回 了 相同 的 散 列 码 ， 那 么 Abstractchannel 中 的 compareTo() 方 
法 的 实现 将 会 抛 出 一 个 Error。 


channelPipeline 持 有 所 有 将 应 用 于 入 站 和 出 站 数据 以 及 事件 的 
channelHandler 实 例 ’ 这 些 channelHandler 实 现 了 应 用 程序 用 于 处 理 状 
态 变 化 以 及 数据 处 理 的 逻辑 。 


channelHandler 的 典型 用 途 包 括 : 





将 数据 从 一 种 格式 转换 为 男 一 种 格式 ; 

提供 异常 的 通知 ; 

提供 channe1 变 为 活动 的 或 者 非 活 动 的 通知 ; 

提供 当 channe1 注 册 到 EventLoop 或 者 从 EventLoop 注 销 时 的 通知 ; 
提供 有 关 用 户 自 定义 事件 的 通知 。 


拦截 过 滤器 channelPipeline 实 现 了 一 种 常见 的 设计 模式 一 一 拦截 过 滤器 
(Intercepting Filter) 。UNIX 管 道 是 另外 一 个 熟悉 的 例子 : 多 个 命令 被 链接 
在 一 起 ， 其 中 一 个 命令 的 输出 端 将 连接 到 命令 行 中 下 一 个 命令 的 输入 端 。 

















你 也 可 以 根据 需要 通过 添加 或 者 移 除 channelHandler 实 例 来 修 
改 channelPipeline。 通 过 利用 Netty 的 这 项 能 力 可 以 构建 出 高 度 灵活 的 
应 用 程序 。 例 如 ， 每 当 STARTTLS 山 协议 被 请 求 时 ， 你 可 以 简单 地 通过 
问 channelPipeline 添 加 一 个 适当 的 channelHandler (SslHandler) 来 按 
需 地 支持 STARTTLS 协 议 。 


Ke SOF lel Pp 4p BE A channelPipeline#llchannelconfigz%, thay LA 
利用 channe1 的 其 他 方法 ， 其 中 最 重要 的 列举 在 表 4-1 中 。 


表 4-1 Cchannel 的 方法 


T 7 
i Ho g 
名 
返回 分 配给 channel 的 Eventtoop 
返回 分 配给 Channel H`] ChannelPipeline 


isactive “有 如果 cnamel 是 活动 的 ， 则 返回 true。 活 动 的 意义 可 能 依赖 于 底层 的 传输 。 例 如 ， 一 
个 socket 传 输 一 有 旦 连接 到 了 远程 节点 便 是 活动 的 ， 而 一 个 vataoran 传 输 一 旦 被 打开 便 是 
































活动 的 


返回 本 地 的 SokcetAddress 
返 jz 早 的 SocketAddress 


| 将 之 前 已 写 的 数据 冲刷 到 底层 传输 ， 如 一 个 socket 
一 个 简便 的 方法 ， 等 同 于 调用 wito ttika yH tusho 


稍 后 我 们 将 进一步 深入 地 讨论 所 有 这 些 特性 的 应 用 。 目 前 ， 请 记 
住 ，Netty 所 提供 的 广泛 功能 只 依赖 于 少量 的 接口 。 这 意味 着， 你 可 以 
A 你 的 应 用 程序 逻辑 进行 重大 的 修改 ， 而 又 无 需 大 规模 地 重 构 你 的 代码 


考虑 一 下 写 数据 并 将 其 冲刷 到 远程 节点 这 样 的 常规 任务 。 代 码 清单 
4-5 演 示 了 使 用 channel.writeAndFlush( ) 来 实现 这 一 目的 。 


代码 清单 4-5” 写 出 到 channel 



































Channel channel = ... 
ByteBuf buf = Unpooled.copiedBuffer("your data", CharsetUtil.UTF_ 
- ”创建 持 有 要 写 数据 的 ByteBuf 
ChannelFuture cf = channel.writeAndFlush(buf);  -- 写 数据 并 冲刷 
它 
cf.addListener(new ChannelFutureListener() { - -- 添加 
ChannelFutureListener 以 便 在 写 操作 完成 后 接收 通知 

@Override 

public void operationComplete(ChannelFuture future) { 

if (future.isSuccess()) { =- -- 写 操作 完成 ， 并 且 没 有 错误 发 




















System.out.printin("Write successful"); 

} else { 
System.err.println("Write error"); ~ -- 记录 错误 
future.cause().printStackTrace(); 


} 
+); 





Netty 的 channel 实 现 是 线程 安全 的 ， 因 此 你 可 以 存储 一 个 到 channel 
的 引用 ， 并 且 每 当 你 需要 同 远 程 节 点 写 数据 时 ， 都 可 以 使 用 它 ， 即 使 当 
时 许多 线程 都 在 使 用 它 。 代 码 清单 4-6 展 示 了 一 个 多 线程 写 数据 的 简单 
例子 。 需 要 注意 的 是 ， 消 息 将 会 被 保证 按 顺序 发 送 。 


代码 清单 4-6 ”从 多 个 线程 使 用 同一 个 channel 


final Channel channel = ... 
final ByteBuf buf = Unpooled.copiedBuffer("your data", 




















CharsetUtil.UTF_8).retain(); ~ -- 创建 持 有 要 写 数 据 的 ByteBuf 
Runnable writer = new Runnable() { - -- 创建 将 数据 写 到 Channel 的 
Runnable 

@Override 


public void run() { 
channel.writeAndFlush(buf.duplicate()); 
} 
}; 


Executor executor = Executors.newCachedThreadPool(); - -- 获取 
到 线程 池 Executor 的 引用 


// write in one thread 
executor.execute(writer); ~ -- 递交 写 任 务 给 线程 池 以 便 在 某 个 线程 中 执行 








// write in another thread 
executor.execute(writer); =- -- 递交 另 一 个 写 任 务 以 便 在 另 一 个 线程 中 执 
行 





4.3 内置 的 传输 


Netty 内 置 了 一 些 可 开 箱 即 用 的 传输 。 因 为 并 不 是 它们 所 有 的 传输 
都 支持 每 一 种 协议 ， 所 以 你 必须 选择 一 个 和 你 的 应 用 程序 所 使 用 的 协议 
相 容 的 传输 。 在 本 节 中 我 们 将 讨论 这 些 关 系 。 

表 4-2 显 示 了 所 有 Netty 提 供 的 传输 。 


表 4-2 Netty 所 提供 的 传输 











由 JNI 驱 动 的 soao0 和 非 阻塞 IO。 这 个 传输 支持 只 有 在 Linux 上 
i a 如 so_reusePorr， 比 NIO 传 输 更 快 ， 而 且 是 完 
SHE Fh 

















io.netty.channel. local 9] 以 在 VM 内 部 通过 管道 进行 通信 的 本 地 传输 


Embedded io.netty.channel. embedded Embedded 传输 ， 人 允许 使 用 channelhandler 而 又 不 需要 一 个 真正 的 
基于 网 络 的 传输 。 这 在 测试 你 的 craneanandaer 实 现时 非常 有 用 


我 们 将 在 接 下 来 的 几 节 中 详细 讨论 这 些 传输 。 

















4.3.1 NIO——3EfH2EV0 


NIO 提 供 了 一 个 所 有 IO 操作 的 全 异步 的 实现 。 它 利用 了 目 NIO 子 系 
统 被 引入 JDK 1.4 时 便 可 用 的 基于 选择 器 的 API。 


选择 器 背后 的 基本 概念 是 充当 一 个 注册 表 ， 在 那里 你 将 可 以 请 求 
在 channel 的 状态 发 生变 化 时 得 到 通知 。 可 能 的 状态 变化 有 : 


新 的 channel 已 被 接受 并 且 就 绪 ; 
channel 连 接 已 经 完 dis 

channel 有 已 经 就 绪 的 可 供 读 取 的 数据 ; 
channel 可 用 于 写 数 据 。 


选择 器 运行 在 一 个 检查 状态 变化 并 对 其 做 出 相应 啊 应 的 线程 上 ， 在 
应 用 程序 对 状态 的 改变 做 出 啊 应 之 后 ， 选 择 占 将 会 被 重 置 ， 并 将 重复 这 
小 过 程 ， 

表 4-3 中 的 常量 值 代 表 了 由 class java.nio.channels.SelectionKey 
定义 的 位 模式 。 这 些 位 模式 可 以 组 合 起 来 定义 一 组 应 用 程序 正在 请 求 通 
知 的 状态 变化 集 。 


表 4-3 ”选择 操作 的 位 模式 











名 
称 


请 求 在 接受 新 连接 并 创建 amel 时 获得 通知 








OP_CONNECT 请 求 在 创建 一 个 连接 时 获得 通知 


oprean 站 请 求 当 数 据 已 经 就 络 ， 可 以 从 cnannei 中 读 取 时 获得 通知 


op_werre 用 请 求 当 可 以 癌 ename 中 写 更 多 的 数据 时 获得 通知 。 这 处 理 了 套 接 字 绥 冲 区 被 完全 填 满 
时 的 情况 ， 这 种 情况 通常 发 生 在 数据 的 发 送 速度 比 远程 节点 可 处 理 的 速度 更 快 的 时 候 


对 于 所 有 Netty 的 传输 实现 都 共有 的 用 户 级 别 API 完 全 地 隐藏 了 这 些 
NIO 的 内 部 细节 。 图 4-2 展 示 了 该 处 理 流程 。 
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图 4-2 ”选择 并 处 理 状 态 的 变化 


246 Vl (zero-copy) 是 一 种 目前 只 有 在 使 用 NIO 和 Epol 传 输 时 
才 可 使 用 的 特性 。 它 使 你 可 以 快速 高 效 地 将 数据 从 文件 系统 移动 到 
网 络 接口 ， 而 不 需要 将 其 从 内 核 空 间 复制 到 用 户 空间 ， 其 在 像 FTP 
或 者 HTTP 这 样 的 协议 中 可 以 显著 地 提升 性 能 。 但 是 ， 并 不 是 所 有 
的 操作 系统 都 支持 这 一 特性 。 特 别 地 ， 它 对 于 实现 了 数据 加 密 或 者 
压缩 的 文件 系统 是 不 可 用 的 只 能 传输 文件 的 原始 内 容 。 反 过 来 
说 ， 传 输 已 被 加 密 的 文件 则 不 是 问题 。 


用 于 Linux 的 本 地 非 阻 塞 传 输 


正如 我 们 之 前 所 说 的 ，Netty 的 NIO 传 输 基于 Java 提 供 的 异步 / 非 阻塞 
网 络 编程 的 通用 抽象 。 虽 然 这 保证 了 Netty 的 非 阻塞 API 可 以 在 任何 平台 
上 使 用 ,但 它 也 包含 了 相应 的 限制 ， 因 为 JDK 为 了 在 所 有 系统 上 提供 相 
同 的 功能 ， 必 须 做 出 妥协 。 


Linux 作 为 高 性 能 网 络 编程 的 平台 ， 其 重要 性 与 日 俱 增 ， 这 催生 了 
大 量 先进 特性 的 开发 ， 其 中 包括 epoll 一 一 一 个 高 度 可 扩展 的 VO 事件 通 
知 特性 。 这 个 API 自 Linux 内 核 版 本 2.5.44 (2002) 被 引入 ， 提 供 了 比 旧 
的 POSIX select 和 pol11 系 统 调用 邮 更 好 的 性 能 ， 同时 现在 也 是 Linux 上 非 
阻塞 网 络 编程 的 事实 标准 。Linux JDK NIO API 使 用 了 这 些 epoll 调 用 。 


Netty 为 Linux 提 供 了 一 组 NIO API， 其 以 一 种 和 它 本 身 的 设计 更 加 
一 致 的 方式 使 用 epoll， 并 且 以 一 种 更 加 轻 量 的 方式 使 用 中 断 。 纪 如 果 你 
的 应 用 程序 旨 在 运行 于 Linux 系 统 ， 那 么 请 考虑 利用 这 个 版 本 的 传输 ; 
你 将 发 现在 高 负载 下 它 的 性 能 要 优 于 JDK 的 NIO 实 现 。 


这 个 传输 的 语义 与 在 图 4-2 所 示 的 完全 相同 ， 而 且 它 的 用 法 也 是 简 
单 直 接 的 。 相 关 示 例 参 照 代 码 清单 44。 如 果 要 在 那个 代码 清单 中 使 用 
epoll 奉 代 NIO， 只 需要 将 NioEventLoopGroup 蔡 换 
为 Epo11EventLoopGroup， 并 且 将 NioserverSocketchannel.class 蔡 换 
为 EpollSserverSocketchannel.class 即 可 。 











4.3.2 Epoll 








4.3.3 ”0OIO 一 -一 旧 的 阻塞 VO 


Netty 的 OIO 传 输 实现 代表 了 一 种 折 中 : 它 可 以 通过 常规 的 传输 API 
使 用 ， 但 是 由 于 它 是 创建 在 java.net 包 的 阻塞 实现 之 上 的 ， 所 以 它 不 是 
异步 的 。 但 是 ， 它 仍然 非常 适合 于 茶 些 用 途 。 


例如 ， 你 可 能 需要 移植 使 用 了 一 些 进 行 阻塞 调用 的 库 《〈“ 如 
JDBCE!) 的 遗留 代码 ， 而 将 逻辑 转换 为 非 阻塞 的 可 能 也 是 不 切实 际 
的 。 相 反 ， 你 可 以 在 短期 内 使 用 Netty 的 OIO 传 输 ， 然 后 再 将 你 的 代码 移 
植 到 纯粹 的 异步 传输 上 。 让 我 们 来 看 一 看 怎么 做 。 


在 java.netAPI 中 ， 你 通常 会 有 一 个 用 来 接受 到 达 正 在 监听 的 
ServerSocket 的 新 连接 的 线程 。 会 创建 一 个 新 的 和 远程 节点 进行 交互 的 
套 接 字 ， 并 且 会 分 配 一 个 新 的 用 于 处 理 相 应 通信 流量 的 线程 。 这 是 必需 
的 ， 因 为 某 个 指定 套 接 字 上 的 任何 WO 操作 在 任意 的 时 间 点 上 都 可 能 会 
阻塞 。 使 用 单个 线程 来 处 理 多 个 套 接 字 ， 很 容易 导致 一 个 套 接 字 上 的 阻 
塞 操 作 也 捆绑 了 所 有 其 他 的 套 接 字 。 


有 了 这 个 背景 ， 你 可 能 会 想 ，Netty 是 如 何 能 够 使 用 和 用 于 异步 传 
输 相 同 的 API 来 文 持 OIO 的 呢 。 答 案 就 是 ，Netty 利 用 了 So_TIMEOUT 这 
个 socket 标 志 ， 它 指定 了 等 待 一 个 1/O 操 作 完成 的 最 大 毫秒 数 。 如 果 操 
作 在 指定 的 时 间 间 隔 内 没有 完成 ， 则 将 会 抛 出 一 个 socketTimeout 
Exception。Netty 将 捕获 这 个 异常 并 继续 处 理 循 环 。 在 EventLoop 下 一 次 
运行 时 ， 它 将 再 次 党 试 。 这 实际 上 也 是 类 似 于 Netty 这 样 的 异步 框架 能 
够 支持 OIO 的 唯一 方式 是 。 图 4-3 说 明了 这 个 逻辑 。 


4.3.4 用 于 JVM 内 部 通信 的 Local 传 输 


Netty 提 供 了 一 个 Local 传 输 ， 用 于 在 同一 个 JVM 中 运行 的 客户 端 和 
服务 器 程序 之 间 的 异步 通信 。 同 样 ， 这 个 传输 也 文 持 对 于 所 有 Netty 传 
输 实 现 都 共同 的 API。 


在 这 个 传输 中 ， 和 服务 器 channe1 相 关联 的 socketAddress 并 没有 绑 
定 物理 网 络 地 址 ， 相 反 ， 只 要 服务 器 还 在 运行 ， 它 束 会 被 存储 在 注册 表 
里 ， 并 在 channel 关 闭 时 注销 。 因 为 这 个 传输 并 不 接受 真正 的 网 络 流 
量 ， 所 以 它 并 不 能 够 和 其 他 传输 实现 进行 互 操 作 。 因 此 ， 客 户 端 希望 连 
接 到 (在 同一 个 JVM 中 ) 使 用 了 这 个 传输 的 服务 器 端 时 也 必须 使 用 它 。 
































除了 这 个 限制 ， 它 的 使 用 方式 和 其 他 的 传输 一 模 一 样 。 
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4-3 ”OIO 的 处 理 逻 辑 

4.3.5 ”Embedded 传输 

Netty 提 供 了 一 种 额外 的 传输 ， 使 得 你 可 以 将 一 组 channelHandler 作 
为 帮助 器 类 航 入 到 其 他 的 channeLlHandler 内 部 。 通 过 这 种 方式 ， 你 将 可 
以 扩展 一 个 channelHandler 的 功能 ， 而 又 不 需要 修改 其 内 部 代码 。 

不 足 为 奇 的 是 ，Embedded 传 输 的 关键 是 一 个 被 称 
为 Embeddedchannel 的 具体 的 channel 实 现 。 在 第 9 章 中 ， 我 们 将 详细 地 讨 
论 吉 何 使 用 这 个 类 来 为 channelHandler 的 实现 创建 单元 测试 用 例 。 


4A 传输 的 用 例 








既然 我 们 已 经 详细 地 了 解 了 所 有 的 传输 ， 那 么 让 我 们 考虑 一 下 选用 
一 个 适用 于 特定 用 途 的 协议 的 因 丢 吧 。 正 如 前 面 所 提 到 的 ， 并 不 是 所 有 
的 传输 都 文 持 所 有 的 核心 协议 ， 其 可 能 会 限制 你 的 选择 。 表 4-4 展 示 了 
规 止 出 版 时 的 传输 和 其 所 文 持 的 协议 。 


表 4-4” 文 持 的 传输 和 网 络 协议 





* ”参见 RFC ”2960 中 有 关 流 控制 传输 协议 (SCTP)〉 的 解释 : 
www.ietf.org/rfcrfc2960.txzt。 表 中 X 表 示 文 持 ， 一 表示 不 文 持 。 


在 Linux 上 启用 SCTP 





SCTP in ZAK MIScHE, HH m AOR E. 
例如 ， 对 于 Ubuntu， 可 以 使 用 下 面 的 命令 : 


# sudo apt-get install libsctp1 


对 于 Fedora， 可 以 使 用 yum: 


#sudo yum install kernel-modules-extra.x86_64 lksctp- 
tools.x86_64 


2 有 关 如 何 局 用 SCTP 的 详细 信息 ， 请 参考 你 的 Linux 肥 行 版 的 文 





里 然 只 有 SCTP 传 输 有 这 些 特殊 要 求 ， 但 是 其 他 传输 可 能 也 有 它们 











目 己 的 配置 选项 需要 考 夸 。 此 外 ， 如 条 只 是 为 了 文 持 更 高 的 并 发 连接 


数 ， 


服务 器 平台 可 能 需要 配置 得 和 客户 端 不 一 样 。 
这 里 是 一 些 你 很 可 能 会 过 到 的 用 例 。 





非 阻 塞 代码 库 一 一 如 果 你 的 代码 库 中 没有 阻塞 调用 《或 者 你 能 够 限 
制 它们 的 范围 ) ， 那 么 在 Linux 上 使 用 NIO 或 者 epoll 始 终 是 个 好 主 
意 。 虽 然 NIO/epol 则 在 处 理 大 量 的 并 发 连接 ， 但 是 在 处 理 较 小 数目 
的 并 发 连接 时 ， 它 也 能 很 好 地 工作 ， 尤 其 是 考虑 到 它 在 连接 之 间 共 
享 线程 的 方式 。 

阻塞 代码 库 一 一 正如 我 们 已 经 指出 的 ， 如 果 你 的 代码 库 严 重地 依赖 
于 阻塞 /JO， 而 且 你 的 应 用 程序 也 有 一 个 相应 的 设计 ， 那 么 在 你 尝 
试 将 其 直接 转换 为 Netty 的 NIO 传 输 时 ， 你 将 可 能 会 遇 到 和 阻塞 操作 
相关 的 问题 。 不 要 为 此 而 重 写 你 的 代码 ， 可 以 考虑 分 阶段 迁移 先 
从 OIO 开 始 ， 等 你 的 代码 修改 好 之 后 ， 再 迁移 到 NIO (或 者 使 用 
epoll， 如 果 你 在 使 用 Linux) 。 

在 同一 个 JVM 内 部 的 通信 一 一 在 同一 个 JVM 内 部 的 通信 ， 不 需要 通 
过 网 络 暴 露 服务， 是 Local 传 输 的 完美 用 例 。 这 将 消除 所 有 真实 网 
络 操作 的 开销 ， 同 时 仍然 使 用 你 的 Netty 代 码 库 。 如 果 随 后 需要 通 
过 网 络 暴露 服务 ， 那 么 你 将 只 需要 把 传输 改 为 NIO 或 者 OIO 即 可 。 
测试 你 的 channelHandler 实 现 如 果 你 想 要 为 自己 的 











channelHandler 实 现 编 写 单 元 测试 ， 那 么 请 考虑 使 用 Embedded 传 
输 。 这 既 便 于 测试 你 的 代码 ， 而 又 不 需要 创建 大 量 的 仿真 
(mock) 对 象 。 你 的 类 将 仍然 符合 第 规 的 API 事 件 流 ， 保 证 该 
channelHandler 在 和 真实 的 传输 一 起 使 用 时 能 够 正确 地 工作 。 你 将 











在 第 9 章 中 发 现 关 于 测试 thannelHandler 的 更 多 信息 。 
表 4-5 总 结 了 我 们 探讨 过 的 用 例 。 
表 4-5 ”应 用 程序 的 最 佳 传输 


应 用 程序 的 需求 荐 的 传输 
非 阻塞 代码 库 或 者 一 个 常规 的 起 点 NIO (或 者 在 Linux 上 使 用 epoll) 


























阻塞 代码 库 
在 同一 个 JVM 内 部 的 通信 


测 试 ChannelHandler 的 实现 





4.5 hA 


在 本 章 中 ， 我 们 研究 了 传输 、 它 们 的 实现 和 使 用 ， 以 及 Netty 是 如 
何 将 它们 呈现 给 开发 者 的 。 


我 们 深入 探讨 了 Netty 预 置 的 传输 ， 并 且 解 释 了 它们 的 行为 。 因 为 
不 是 所 有 的 传输 都 可 以 在 相同 的 Java 版 本 下 工作 ， 并 且 其 中 一 些 可 能 只 
在 特定 的 操作 系统 下 可 用 ， 所 以 我 们 也 描述 了 它们 的 了 最低 需求 。 最 后 ， 
我 们 讨论 了 你 可 以 如 何 匹配 不 同 的 传输 和 特定 用 例 的 需求 。 


4 Pe 我 们 将 关注 于 ByteBuf 和 ByteBufHolder ae 
据 容器 。 我 们 将 展示 如 何 使 用 它们 以 及 如 何 通 过 它们 获得 最 佳 性 能 











[1] 参见 STARTTLS: http://en.wikipedia.org/wiki/STARTTLS。 


[2] 这 个 是 Netty 特 有 的 实现 ， 更 加 适 配 Netty 现 有 的 线程 模型 ， 具 有 更 高 
的 性 能 以 及 更 低 的 垃圾 回收 压力 ， 详 见 
https://github.com/netty/netty/wiki/Native-transports。 一 一 译 者 注 


[3] 参见 Linux 手 册页 中 的 epoll(4): http://linux.die.net/man/4/epoll. 


[4] JDK 的 实现 是 水 平 触 发 ， 而 Netty 的 (默认 的 ) 是 边沿 触发 。 有 关 的 
详细 信息 参见 epoll 在 维基 百科 上 的 解释 : 
http://en.wikipedia.org/wiki/Epoll - Triggering_modes. 


[5] JDBC 的 文档 可 以 在 


www.oracle.com/technetwork/java/javase/jdbc/index.html 3k HX . 


[6] 这 种 方式 的 一 个 问题 是 ， 当 一 个 socketTimeoutException 被 抛 出 时 填 
充 栈 跟踪 所 需要 的 时 间 ， 其 对 于 性 能 来 说 代价 很 大 。 


[7] UDT 协 议 实现 了 基于 UDP 协议 的 可 靠 传 输 ， 详 见 
https://zh. wikipedia.org/zh-cn/UDT. PEATE 
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本 章 主 要 内 容 
e ByteBuf Netty 的 数据 容器 
。 API 的 详细 信息 
。 用 例 
。 内 存 分 配 





正如 前 面 所 提 到 的 ， 网 络 数据 的 基本 单位 总 是 字 节 。Java NIO 提 供 
了 ByteBuffer 作 为 它 的 字 节 容 髓 ， 但 是 这 个 类 使 用 起 来 过 于 复业 ， 而 且 
ty EE Hit 


Netty 的 ByteBuffer 蔡 代 品 是 ByteBuf， 一 个 强大 的 实现 ， 既 解决 了 
JDK API 的 局 限 性 ， 又 为 网 络 应 用 程序 的 开发 者 提供 了 更 好 的 API。 


在 本 章 中 我 们 将 会 说 明和 JDK 的 ByteBuffer 相 比 ，ByteBuf 的 卓越 功 
能 性 和 灵活 性 。 这 也 将 有 助 于 更 好 地 理解 Netty 数 据 处 理 的 一 般 方 式 ， 
并 为 将 在 第 6 章 中 针对 channelPipeline 和 channelHandler 的 讨论 做 好 准 








5.1 ByteBuf 的 API 


Netty 的 数据 处 理 API 通 过 两 个 组 件 暴 露 
ByteBuf 和 :interface ByteBufHolder. 


下 面 是 一 些 ByteBuf API 的 优点 : 


abstract class 





o 它 可 以 被 用 户 目 定义 的 缓冲 区 类 型 扩展 ; 
。 通过 内 置 的 复合 缓冲 区 类 型 实现 了 透明 的 零 找 贝 ; 


。 容量 可 以 按 需 增长 〈 类 似 于 JDK 的 StringBuilder) ; 

n A 需要 调用 ByteBuffer 的 flip() 方 
法 ; 

。 该 和 写 使 用 了 不 同 的 索引 ; 

。 文 持 方法 的 链 式 调用 ; 

。 文 持 引 用 计数 ; 

。 文 持 池 化 。 


其 他 类 可 用 于 管理 ByteBuf 实 例 的 分 配 ， 以 及 执行 各 种 针对 于 数据 
容器 本 届 和 和 它 所 持 有 的 数据 的 操作 。 我 们 将 在 仔细 研究 ByteBuf 和 
ByteBufHolder 时 探讨 这 些 特性 。 


5.2 ByteBuf 类 一 一 Netty 的 数据 容器 





因为 所 有 的 网 络 通信 者 涉及 字 节 序列 的 移动 ， 所 以 局 效 易 用 的 数据 
结构 明显 是 必 不 可 少 的 。Netty 的 ByteBuf 实 现 满 足 并 超越 了 这 些 需 求 。 
ee eee eee 
着 的 访问 的 吧 。 


5.2.1 它 是 如 何 工 作 的 


ByteBuf 维 护 了 两 个 不 同 的 索引 ;一 个 用 于 读 取 ， 一 个 用 于 写 入 。 
当 你 从 ByteBuf 读 取 时 ， 它 的 readerIndex 将 会 被 递增 已 经 被 读 取 的 字 节 
数 。 同 样 地 ， 当 你 写 入 ByteBuf 时 ， 它 的 writerIndex 也 会 被 递增 。 网 5-1 
展示 了 一 个 空 ByteBuf 的 布局 结构 和 状态 。 





-ARATE 





aero 


图 5-1 一 个 读 索 引 和 写 索 引 都 设置 为 0 的 16 字 节 ByteBuf 


要 了 解 这 些 索 引 两 两 之 间 的 关系 ， 请 考虑 一 下 ， 如 果 打 算 读 取 字 节 
直到 readerIndex 达 到 和 writerIndex 同 样 的 值 时 会 发 生 什 么 。 在 那 时 ， 
你 将 会 到 达 “ 可 以 读 取 的 ”数据 的 末尾 。 束 如 同 试图 读 取 超 出 数组 末尾 的 
数据 一 样 ， 试 图 读 取 超出 该 点 的 数据 将 会 触发 一 个 Indexoutof - 


BoundsException. 


名 称 以 read 或 者 write 开头 的 ByteBuf 方 法 ， 将 会 推进 其 对 应 的 过 
引 ， 而 名 称 以 set 或 者 get 开 头 的 操作 则 不 会 。 后 面 的 这 些 方法 将 在 作为 
一 个 参数 传 入 的 一 个 相对 索引 上 执行 操作 。 


可 以 指定 ByteBuf 的 最 大 容量 。 试 图 移动 写 索 引 (〈 即 readerIndex ) 























超过 这 个 值 将 会 触发 一 个 异常 出 。 (默认 的 限制 
是 Integer .MAX_VALUE。) 


5.2.2 ”ByteBuf 的 使 用 模式 


在 使 用 Netty 时 ， 你 将 过 到 几 种 第 见 的 围绕 ByteBuf 而 构建 的 使 用 模 
式 。 在 研究 它们 时 ， 我 们 心里 想 着 图 5-1 会 有 所 神谷 一 一 一 个 由 不 同 的 
索引 分 别 控 制 读 访问 和 号 访问 的 字 节 数组 。 


1. 堆 缓冲 区 

最 常用 的 ByteBuf 模 式 是 将 数据 存储 在 JVM 的 堆 空间 中 。 这 种 模式 
被 称 为 支撑 数组 (backing array) ， 它 能 在 没有 使 用 池 化 的 情况 下 提供 
快速 的 分 配 和 释放 。 这 种 方式 ， 如 代码 清单 5-1 所 示 ， 非 常 适合 于 有 遗 
留 的 数据 需要 处 理 的 情况 。 
代码 清单 5-1 ”支撑 数组 


ByteBuf heapBuf = ... 





if (heapBuf.hasArray()) { - -- 检查 ByteBuf 是 否 有 一 个 支撑 数组 
byte[] array = heapBuf.array(); ~ -- 如果 有 ， 则 获取 对 该 数组 的 引 


int offset = heapBuf.arrayOffset() + heapBuf.readerIndex(); © - 
- ”计算 第 一 个 字 节 的 偏 移 量 。 








int length = heapBuf.readableBytes();  -- 获得 可 读 字 节 数 
handleArray(array, offset, length); =- -- 使 用 数组 、 偏 移 量 和 长 





度 作 为 参数 调用 你 的 方法 
} 


YER ” 当 hasArray() 方 法 返回 false 时 ， 尝 试 访问 支撑 数组 将 触发 一 
个 unsupportedoperationException。 这 个 模式 类 似 于 JDK 的 ByteBuffer 的 用 


{Zo 











2. HERRE 


直接 缓冲 区 是 力 外 一 种 ByteBuf 模 式 。 我 们 期 望 用 于 对 象 创建 的 内 
存 分 配 永远 都 来 目 于 堆 中 ， 但 这 并 不 是 必须 的 一 一 NIO 在 JDK 1.4 中 引入 
的 ByteBuffer 类 人 允许 JVM 实 现 通过 本 地 调用 来 分 配 内 存 。 这 主要 是 为 了 











避免 在 每 次 调用 本 地 IO 操作 之 前 《或 者 之 后 ) 将 缓冲 区 的 内 容 复 制 到 
一 个 中 间 缓 冲 区 《或 者 从 中 间 缓 冲 区 把 内 容 复制 到 缓冲 区 ) 。 


ByteBuffer 的 Javadoc 外 明确 指出 : “直接 缓冲 区 的 内 容 将 驻 留 在 常 
规 的 会 被 垃圾 回收 的 堆 之 外 。” 这 也 就 解释 了 为 何 直 接 绥 冲 区 对 于 网 络 
数据 传输 是 理想 的 选择 。 如 有 果 你 的 数据 包含 在 一 个 在 堆 上 分 配 的 缓冲 区 
中 ， 那 么 事实 上 ， 在 通过 和 套 接 字 发 送 它 之 前 ，JVM 将 会 在 内 部 把 你 的 组 
冲 区 复制 到 一 个 直接 缓冲 区 中 。 


直接 缓冲 区 的 主要 缺点 是 ， 相 对 于 基于 扒 的 缓冲 区 ， 它 们 的 分 配 和 
释放 都 较为 昂 贯 。 如 果 你 正在 处 理 遗 留 代 码 ， 你 也 可 能 会 遇 到 另外 一 个 
ee 所 以 你 不 得 不 进行 一 次 复制 ， 如 代码 清单 
5-2 及 不 。 


显然 ， 与 使 用 文 撑 数 组 相 比 ， 这 涉及 的 工作 更 多 。 因 此 ， 如 果 事 先 
知道 容器 中 的 数据 将 会 被 作为 数组 来 访问 ， 你 可 能 更 愿意 使 用 堆 内 存 。 


代码 清单 5-2 访问 直接 缓冲 区 的 数据 


ByteBuf directBuf = .. 


























if (!directBuf. pe { - -- 检查 ByteBuf 是 否 由 数组 支撑 。 如 果 
不 是 ， 则 这 是 一 个 直接 缓冲 区 
int length = directBuf.readableBytes();  -- 获取 可 读 字 节 数 
byte[] array = new byte[length]; © -- 分 配 一 个 新 的 数组 来 保存 具 
有 该 长 度 的 字 节 数据 
directBuf.getBytes(directBuf.readerIndex(), array); =- -- 将 
节 复 制 到 该 数组 
handleArray(array, ©, length); ~ -- 使 用 数组 、 偏 移 量 和 长 度 作为 参 
数 调 用 你 的 方法 
} 


3. 复合 缓冲 区 


第 三 种 也 是 最 后 一 种 模式 使 用 的 是 复合 缓冲 区 ， 它 为 多 个 ByteBuf 
提供 一 oe 在 这 里 你 可 以 根据 需要 添加 或 者 删除 ByteBuf 实 
例 ， 是 一 个 JDK 的 ByteBuffer 实 现 完 全 缺失 的 特性 。 











Netty 通 过 一 个 ByteBuf 子 类 CompositeByteBuf 一 实现 了 这 个 模 


式 ， 它 提供 了 一 个 将 多 个 缓冲 区 表示 为 单个 合并 缓冲 区 的 虚拟 表示 。 








“i compositeByteBuf 中 的 ByteBuf 实 例 可 能 同时 包含 直接 内 存 分 配 和 非 直 
接 内 存 分 配 。 如 果 其 中 只 有 一 个 实例 ， 那 么 对 compositeByteBuf 上 的 
hasArray() 方 法 的 调用 将 返回 该 组 件 上 的 hasArray() 方 法 的 值 ; 否则 它 将 返回 


false。 


























为 了 举例 说 明 ， 让 我 们 考虑 一 下 一 个 由 两 部 分 一 一 头 部 和 主体 一 一 
组 成 的 将 通过 HTTP 协 议 传 输 的 消息 。 这 两 部 分 由 应 用 程序 的 不 同 模块 
产生 ， 将 会 在 消 轧 被 发 送 的 时 候 组 逆 。 该 应 用 程序 可 以 选择 为 多 个 消息 
ye ala 当 这 种 情况 发 生 时 ， 对 于 每 个 消息 都 将 会 创建 一 
新 的 头 部 。 


因为 我 们 不 想 为 每 个 消息 都 重新 分 配 这 两 个 缓冲 区 ， 所 以 使 
用 compositeByteBuf 是 一 个 完美 的 选择 。 它 在 消除 了 没 必要 的 复制 的 同 
时 ， 暴 起 了 通用 的 ByteBuf API。 图 5-2 展 示 了 生成 的 消息 布局 。 














CompositeByteBut 
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图 5-2” 持 有 一 个 头 部 和 主体 的 CompositeByteBuf 


代码 清单 5-3 展 示 了 如 何 通过 使 用 JDK 的 ByteBuffer 来 实现 这 一 需 
求 。 创 建 了 一 个 包含 两 个 ByteBuffer 的 数组 用 来 保存 这 些 消 息 组 件 ， 同 
时 创建 了 第 三 个 ByteBuffer 用 来 保存 所 有 这 些 数据 的 副本 。 


代码 清单 5-3 ”使 用 ByteBuffer 的 复合 缓冲 区 模式 


// Use an array to hold the message parts 
ByteBuffer[] message = new ByteBuffer[] { header, body }; 
// Create a new ByteBuffer and use copy to merge the header and b 
ByteBuffer message2 = 
ByteBuffer.allocate(header.remaining() + body.remaining()); 
message2.put(header); 
message2.put(body); 
message2.flip(); 


分 配 和 复制 操作 ， 以 及 伴随 着 对 数组 管理 的 需要 ， 使 得 这 个 版 本 的 
实现 效率 低下 而 且 笨拙 。 代 码 清单 5-4 展 示 了 一 个 使 用 了 
compositeByteBuf 的 版 本 。 


代码 清单 5-4 ”使 用 compositeByteBuf 的 复合 缓冲 区 模式 


CompositeByteBuf messageBuf = Unpooled.compositeBuffer(); 





ByteBuf headerBuf = ...; // can be backing or direct 
ByteBuf bodyBuf = ...; // can be backing or direct 
messageBuf .addComponents(headerBuf, bodyBuf); =- -- 将 ByteBuf 实 


例 追 加 到 CompositeByteBuf 

messageBuf . removeComponent (0); // remove the header =- -- 删除 位 

于 索引 位 置 为 0〈 第 一 个 组 件 ) 的 ByteBuf 

for (ByteBuf buf : messageBuf) { ~— -- 循环 遍历 所 有 的 ByteBuf 实例 
System.out.printlin(buf.toString()); 

} 





CompositeByteBuf 可 能 不 文 持 访问 其 文 撑 数 组 ， 因 此 访问 
compositeByteBuf 中 的 数据 类 似 于 (访问 〉 直接 缓冲 区 的 模式 ， 如 代码 
清单 5-5 所 示 。 


代码 清单 5-5 访问 compositeByteBuf 中 的 数据 


CompositeByteBuf compBuf = Unpooled.compositeBuffer(); 





int length = compBuf.readableBytes(); =- -- 获得 可 读 字 节 数 

byte[] array = new byte[length]; =- -- 分配 一 个 具有 可 读 字 节 数 长 度 的 
新 数组 

compBuf.getBytes(compBuf.readerIndex(), array); ~ -- 将 字 节 读 到 该 
数组 中 

handleArray(array, ©, array.length); ~ -- 使 用 偏 移 量 和 长 度 作 为 参数 





使 用 该 数组 


需要 注意 的 是 ，Netty 使 用 了 compositeByteBuf 来 优化 套 接 字 的 IO 
操作 ， 尺 可 能 地 消除 了 由 JDK 的 缓冲 区 实现 所 导致 的 性 能 以 及 内 存 使 用 
率 的 惩罚 。 屋 这 种 优化 发 生 在 Netty 的 核心 代码 中 ， 因 此 不 会 被 暴露 出 
来 ， 但 是 你 应 该 知道 它 所 带 来 的 有 影响。 


CompositeByteBuf API 除了 从 ByteBuf 继 承 的 方法 ，compositeByteBuf 提 供 
了 大 量 的 附加 功能 。 请 参考 Netty 的 Javadoc 以 获得 该 API 的 完整 列表 。 





5.3 字 节 级 操作 


ByteBuf 提 供 了 许多 超出 基本 读 、 写 操作 的 方法 用 于 修改 它 的 数 
据 。 在 接 下 来 的 章节 中 ， 我 们 将 会 讨论 这 些 中 最 重要 的 部 分 。 


5.3.1 随机 访问 索引 


如 同 在 普通 的 Java 字 节 数 组 中 一 样 ，ByteBuf 的 索引 是 从 零 开始 的 : 
第 一 个 字 节 的 索引 是 0， 最 后 一 个 字 布 的 索引 总 是 capacity() - 1。 代 
码 清单 5-6 表 明 ， 对 存储 机 制 的 封装 使 得 过 历 ByteBuf 的 内 容 非 党 简单 。 


代码 清单 5-6 访问 数据 


ByteBuf buffer = ...; 

for (int i = 0; i < buffer.capacity(); i++) { 
byte b = buffer.getByte(i); 
System.out.printin((char)b); 

$ 

















需要 注意 的 是 ， 使 用 那些 需要 一 个 索引 值 参 数 的 方法 〈 的 其 中 ) 之 
一 来 访问 数据 既 不 会 改变 readerIndex 也 不 会 改变 writerIndex。 如 果 有 
需要 ， 也 可 以 通过 调用 readerIndex(index) 或 者 writerIndex(index) 来 手 
动 移动 这 两 者 。 


5.3.2 ”顺序 访问 索引 


虽然 ByteBuf 同 时 具有 读 索 引 和 写 索 引 ， 但 是 JDK 的 ByteBuffer 却 只 
有 一 个 索引 ， 这 也 就 是 为 什么 必须 调用 flip() 方 法 来 在 读 模 式 和 写 模式 














之 间 进 行 切换 的 原因 。 图 5-3 展 示 了 ByteBuf 是 如 何 被 它 的 两 个 索引 划分 
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图 5-3 ByteBuf 的 内 部 分 段 


5.3.3 HERS 











在 图 5-3 中 标记 为 可 丢弃 字 节 的 分 段 包 全 了 已 经 被 读 过 的 字 节 。 通 
过 调用 discardRead-Bytes() 方 法 ， 可 以 丢弃 它们 并 回收 空间 。 这 个 分 段 
的 初始 大 小 为 0， 存 储 在 readerIndex 中 ， 会 随 着 read 操 作 的 执行 而 增加 
(get* 操 作 不 会 移动 readerIndex) 。 


图 5-4 展 示 了 图 5-3 中 所 展示 的 缓冲 区 上 调用 discardReadBytes() 方 
法 后 的 结果 。 可 以 看 到 ， 可 丢弃 字 节 分 段 中 的 空间 已 经 变 为 可 写 的 了 。 
注意 ， 在 调用 discardReadBytes() 之 后 ， 对 可 写 分 段 的 内 容 并 没有 任何 
RUE! 
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字 节 之 后 的 ByteBuf 


图 5-4 AFC 


虽然 你 可 能 会 倾向 于 频繁 地 调用 discardReadBytes() 方 法 以 确保 可 
写 分 段 的 最 大 化 ， 但 是 请 注意 ， 这 将 极 有 可 能 会 导致 内 存 复 制 ， 因 为 可 
读 字 市 (图 中 标记 为 CONTENT 的 部 分 必须 被 移动 到 缓冲 区 的 开始 位 
ed a PON, SAFIER SE oe 
J 时 候 。 








YB 二 上 


5.3.4 Wimp 


ByteBuf 的 可 读 字 节 分 段 存储 了 实际 数据 。 新 分 配 的 、 包 装 的 或 者 
复制 的 缓冲 区 的 默认 的 readerIndex 值 为 0。 任 何 名 称 以 read 或 者 skip 开 
头 的 操作 都 将 检索 或 者 跳 过 位 于 当前 readerIndex 的 数据 ， 并 且 将 它 增 
加 已 读 字 节 数 。 

如 果 被 调用 的 方法 需要 一 个 ByteBuf 参 数 作为 写 入 的 目标 ， 并 且 没 
0 那么 该 目标 缓冲 区 的 writerIndex 也 将 被 增加 ， 
列 如 : 


readBytes(ByteBuf dest); 


如 果 尝 试 在 缓冲 区 的 可 读 字 节 数 已 经 耗 尽 时 从 中 读 取 数 据 ， 那 么 将 会 引 


发 一 个 Indexoutof-BoundsException。 
代码 清单 5-7 展 示 了 如 何 读 取 所 有 可 以 读 的 字 市 。 
代码 清单 5-7 读 取 所 有 数据 


ByteBuf buffer = ...; 

while (buffer.isReadable()) { 
System.out.printlin(buffer.readByte()); 

} 


5.3.5 ”可 写字 节 


可 写字 节 分 段 是 指 一 个 拥有 未 定义 内 容 的 、 写 入 就 绪 的 内 存 区 域 。 
新 分 配 的 缓冲 区 的 writerIndex 的 默认 值 为 0。 任 何 名 称 以 write 开头 的 操 
作 都 将 从 当前 的 writerIndex 处 开始 写 数据 ， 并 将 它 增加 已 经 写 入 的 字 
节 数 。 如 果 写 操作 的 目标 也 是 ByteBuf， 并 且 没 有 指定 源 索 引 的 值 ， 则 
源 缓冲 区 的 readerIndex 也 同样 会 被 增加 相同 的 大 小 。 这 个 调用 如 下 所 
ZN: 

















writeBytes(ByteBuf dest); 


MARA BE Fin’ Ake A is AI, Peas 5] 


4s IndexoOut OfBoundException£51, 


代码 清单 5-8 是 一 个 用 随机 整数 值 填 充 绥 冲 区 ， e 
止 的 例子 。writeableBytes() 方 法 在 这 里 被 用 来 确定 该 缓冲 区 中 是 人 否 
有 足够 的 空间 。 


代码 清单 5-8 写 数据 


// Fills the writable bytes of a buffer with random integers. 
ByteBuf buffer = ...; 
while (buffer.writableBytes() >= 
buffer .writeInt(random. ea 
J 


5.3.6 ”索引 管理 


JDK 的 InputSstream 定 义 了 mark(int readlimit) 和 reset() 方 法 ， 这 
些 方 法 分 别 被 用 来 将 流 中 的 当前 位 置 标记 为 指定 的 值 ， 以 及 将 流 重 置 到 
该 位 置 。 


同样 ， 可 以 通过 调 
用 markReaderIndex()、 markwriterIndex(). resetWriterIndex() Al 
reset header index( ) i Im /G #112 yt Bur yeader index 
writerIndex。 这 些 和 Inputstream 上 的 调用 类 似 ， 只 是 没有 readlimit 参 


数 来 指定 标记 什么 时 候 失 效 。 


也 可 以 通过 调用 readerIndex(int) 或 者 writerIndex(int) 来 将 索引 
移动 到 指定 位 置 。 试 图 将 任何 一 个 索引 设置 到 一 个 无 效 的 位 置 都 将 导致 


一 人 IndexOutofBoundsEXxceptiono。 


可 以 通过 调用 clear() 方 法 来 将 readerIndex 和 writerIndex 都 设置 为 
0。 注 意 ， 这 并 不 会 清除 内 存 中 的 内 容 。 图 5-5〈 重 复 上 面 的 图 5-3) 展示 
T Ce LEY. 


i 


NEN 





| <—— readerlndex 4— writerlndex <— capacity 


图 5-5 clear( ) 方 法 被 调用 之 前 


和 之 前 一 样 ，ByteBuf 包 含 3 个 分 段 。 图 5-6 展 示 了 在 clear() 方 法 被 
调用 之 后 ByteBuf 的 状态 。 


分 段 1 现 在 和 ByteBuf 的 总 容量 一 样 大 ， 
因此 所 有 的 空间 都 是 可 写 的 


可 写字 节 


0 = writerIndex = readerIndex ~<——— capacity 
AI5-6 ”在 clear() 方 法 被 调用 之 后 


调用 clear() 比 调用 discardReadBytes() 轻 量 得 多 ， 因 为 它 将 只 是 重 
置 索引 而 不 会 复制 任何 的 内 存 。 


5.3.7 ”查找 操作 





在 ByteBuf 中 有 多 种 可 以 用 来 确定 指定 值 的 索引 的 方法 。 最 简单 的 是 
使 用 indexof() 方 法 。 较 复 杂 的 查找 可 以 通过 那些 需要 一 
个 ByteBufProcessorIil 作 为 参数 的 方法 达成 。 这 个 接口 只 定义 了 一 
法 : 


boolean process(byte value) 
它 将 检查 输入 值 是 否 是 正在 查找 的 值 。 


ByteBufProcessor 针 对 一 些 常 见 的 值 定义 了 许多 便利 的 方法 。 假 设 
pe oe 吉 尾 的 内 容 的 Flash 套 接 字 加 
。 调 用 


forEachByte(ByteBufProcessor.FIND_NUL) 


将 简单 高 效 地 消费 该 Flash 数 据 ， 因 为 在 处 理 期 间 只 会 执行 较 少 的 边界 检 











代码 清单 5-9 展 示 了 一 个 查找 掉头 符 Or) 的 例子 。 
代码 清单 5-9 使 用 ByteBufProcessor 来 寻找 \r 


ByteBuf buffer = ...; 
int index = buffer. forEachByte(ByteBufProcessor. FIND_CR); 


5.3.8 ”派生 缓冲 区 


派生 缓冲 区 为 ByteBuf 提 供 了 以 专门 的 方式 来 呈现 其 内 容 的 视图 。 
这 类 视图 是 通过 以 下 方法 被 创建 的 : 


duplicate(); 

slice(); 

slice(int, int); 
Unpooled.unmodifiableBuffer (...); 
order(ByteOrder); 
readSlice(int). 


每 个 这 些 方法 都 将 返回 一 个 新 的 ByteBuf 实 例 ， 它 具有 自己 的 读 索 








引 、 写 索引 和 标记 索引 。 其 内 部 存储 和 JDK 的 ByteBuffer 一 样 也 是 共享 
的 。 这 使 得 派生 缓冲 区 的 创建 成 本 是 很 低廉 的 ， 但 是 这 也 意味 着 ， 如 果 
你 修改 了 它 的 内 容 ， 也 同时 修改 了 其 对 应 的 源 实例 ， 所 以 要 小 心 。 

















ByteBuf 复 制 ” 如 果 需 要 一 个 现 有 缓冲 区 的 真实 副本 ， 请 使 用 copy() 或 
者 copy(int， int) 方 法 。 不 同 于 派生 缓冲 区 ， 由 这 个 调用 所 返回 的 ByteBuf 拥 
有 独立 的 数据 副本 。 














代码 清单 5-10 展 示 了 如 何 使 用 slice(int, int) 方 法 来 操作 ByteBuf 的 


opens 
代码 清单 5-10 “对 ByteBuf 进 行 切片 


Charset utf8 = Charset.forName("UTF-8"); 
ByteBuf buf = Unpooled.copiedBuffer("Netty in Action rocks!", utf 
- ”创建 一 个 用 于 保存 给 定 字符 串 的 字 节 的 ByteBuf 

















ByteBuf sliced = buf.slice(0©0, 15); -= -- 创建 该 ByteBuf 从 索引 0 F 
始 到 索引 15 结 束 的 一 个 新 切片 

System.out.println(sliced.toString(utf8)); - -- 将 打 
印 “Netty in Action” 

buf .setByte(0, (byte)'J'); =- -- 更 新 索引 0 处 的 字 节 

assert buf.getByte(0) == sliced.getByte(0); - -- 将 会 成 功 ， 因 为 数 





据 是 共享 的 ， 对 其 中 一 个 所 做 的 更 改 对 另外 一 个 也 是 可 见 的 


现在 ， 让 我 们 看 看 ByteBuf 的 分 段 的 副本 和 切片 有 何 区 别 ， 如 代码 
清单 5-11 所 示 。 


代码 清单 5-11 复制 一 个 ByteBuf 


Charset utf8 Charset. forName("UTF-8"); 












































ByteBuf buf Unpooled.copiedBuffer("Netty in Action rocks!", ut 
- fil ByteBuf 以 保存 所 提供 的 字符 串 的 字 节 

ByteBuf copy = buf.copy(0, 15); =- -- 创建 该 ByteBuf 从 索引 0 开始 
到 索引 15 结 束 的 分 段 的 副本 

System.out.println(copy.toString(utf8)); 二 -- 将 打 
印 “Netty in Action” 

buf.setByte(0, (byte) 'J'); =- -- 更 新 索引 0 处 的 字 节 

assert buf.getByte(0) != copy.getByte(0); - -- 将 会 成 功 ， 因 为 数据 





不 是 共享 的 


除了 修改 原始 ByteBuf 的 切片 或 者 副本 的 效果 以 外 ， 这 两 种 场景 是 
相同 的 。 只 要 有 可 能 ， 使 用 slice() 方 法 来 避免 复制 内 存 的 开销 。 


5.3.9” 读 / 写 操作 
正如 我 们 所 提 到 过 的 ， 有 两 种 类 别 的 读 / 写 操作 : 
e get() 和 set() 操 作 ， 从 给 定 的 索引 开始 ， 并 且 保 持 索 引 不 变 ; 
e read() 和 write() 操 作 ， 从 给 定 的 索引 开始 ， 并 且 会 根据 已 经 访问 
过 的 字 节 数 对 索引 进行 调整 。 
表 5-1 列 举 了 最 常用 的 get() 方 法 。 完 整 列 表 请 参考 对 应 的 API 文 








档 。 
表 5-1 get() 操 作 











返回 给 定 索引 处 的 无 符号 的 24 位 的 中 等 me 值 
a ee smt 值 

ke Serre ron 
al 





























| getUnsignedShort(int) | 将 给 定 索引 处 的 无 符号 short 值 作为 int 返 回 
将 该 缓冲 区 中 从 给 定 索引 开始 的 数据 传送 到 指定 的 目的 地 


WN 
列 出 。 


表 5-2 set() 操 作 


ee as | 
给 定 索引 处 的 seaean 值 











设 定 给 定 索引 处 的 anne 
ae Sere 





代码 清单 5-12 说 明了 get() 和 set() 方 法 的 用 法 ， 表 明了 它们 不 会 改 


设 定 给 定 索引 处 的 24 位 的 中 等 mt 值 














变 读 索引 和 写 索 3 
代码 清单 5-12 get() 和 set() 方 法 的 用 法 


Charset utf8 = Charset.forName("UTF-8"); 

ByteBuf buf = Unpooled.copiedBuffer("Netty in Action rocks!", utf 
- ”创建 一 个 新 的 ByteBuf 以 保存 给 定 字 符 串 的 字 节 
System.out.println((char)buf.getByte(0));  -- 打印 第 一 个 字符 'N' 
int readerIindex = buf.readerIindex(); - -- 存储 当前 的 
readerIndex 和 writerIndex 

int writerIndex = buf.writerIndex(); 


o 











buf.setByte(0, (byte)'B'); - -- R50 处 的 字 节 更 新 为 字符 'B' 


System.out.println((char)buf.getByte(0)); - -- 打印 第 一 个 字符 ， 
现在 是 'B' 

assert readerIndex == buf.readerIndex(); =- -- 将 会 成 功 ， 因 为 这 些 
操作 并 不 会 修改 相应 的 索引 

assert writerIndex == buf.writerIndex(); 


现在 ， 让 我 们 研究 一 下 read() 操 作 ， 其 作用 于 当前 的 readerIndex 
或 writerIndex。 这 些 方法 将 用 于 从 ByteBuf 中 读 取 数据 ， 如 同 它 是 一 个 
流 。 表 5-3 展 示 了 最 常用 的 方法 。 


表 5-3 read( ) 操 作 





: 
.| 当前 readerinaex 处 的 24 位 的 中 等 int 值 ， 并 将 reaserindex 增 加 3 

返回 当前 -eaderrzndex 处 的 24 位 的 无 符号 的 中 等 imt 值 ， 并 将 readermdex 增 加 3 
当前 -eauermadex 的 int 值 ， 并 将 -eauermaex 增 加 4 

返回 当前 ssrnues 处 的 sor* 值 ， 并 将 eurnaex 增 加 2 

将 当前 reoertmer 处 的 无 符号 wort 值 作为 mt 值 返回 ， 并 将 rooterrmex 增 加 2 

| | 


| | 




















readBytes(ByteBuf | byte[] 将 当 前 ByteBuf 中 从 当 BI reader nex Ab FTAA 的 ( 如 果 设 置 了 ? length 长 度 的 字 节 ) 
destination, int dstIndex 数据 传送 到 一 个 目 标 eyteguf 或 者 bytef] , M H 标 的 ustzmdex 开 始 的 位 置 。 本 地 的 
[,int length]) readerindex 将 被 增加 已 经 传输 的 字 节 数 











几乎 每 个 read() 方 法 都 有 对 应 的 write() 方 法 ， 用 于 将 数据 奶 加 
到 ByteBuf 中 。 注 意 ， 表 5-4 中 所 列 出 的 这 些 方法 的 参数 是 需要 写 入 的 
值 ， 而 不 是 索引 值 。 


表 5-4 SPE 


在 当前 witerrzdex 处 写 入 一 个 Boolean， 并 将 writermdex 增 加 1 
在 当前 witerrznduex 处 写 入 一 个 字 节 值 ， 并 将 writerrzndex 增 加 1L 
在 当前 witerrzdex 处 写 入 一 个 中 等 的 int 值 ， 并 将 writerrzndex 增 加 3 











在 当 前 writerindex 处 写 入 一 个 int 值 9 并 将 writerrzndex 增 加 4 
在 当前 writerIndex 处 写 入 一 个 lono 值 r] 并 将 writerindexj 曾 加 8 














writeShort(int) 在 当 前 mE No » 并 将 writerrzndex 增 加 2 


writeBytes(Source 从 当前 writerindex 开 始 ’ 传输 来 自 于 指定 源 (ByteBuf 或 者 byte[] ) 的 数据 o 如 果 
ye ERN Line HEE T srctndexAliengths 则 M sretndex dt SA Be AY, 并 且 处 理 长 度 为 1enotn 的 字 节 。 
Sremngen ANE 0290999) | 当前 writerznoex 将 会 被 增加 所 写 入 的 字 节 数 








代码 清单 5-13 展 示 了 这 些 方法 的 用 法 。 
代码 清单 5-13 ByteBuf 上 的 read() 和 write() 操 作 


Charset utf8 = Charset.forName("UTF-8"); 
ByteBuf buf = Unpooled.copiedBuffer("Netty in Action rocks!", utf 
- ”创建 一 个 新 的 ByteBuf 以 保存 给 定 字 符 串 的 字 节 
System.out.println((char)buf.readByte());  -- 打印 第 一 个 字符 'N' 
int readerIndex = buf.readerIndex(); =- -- 存储 当前 的 readerIndex 











int writerIndex = buf.writerIndex(); =- -- 存储 当前 的 writerIndex 


buf.writeByte((byte)'?'); =- -- 将 字符 '?' 追 加 到 缓冲 区 
assert readerIndex == buf.readerIndex(); 
assert writerIndex != buf.writerIndex(); = 将 会 成 功 ， 因 为 


writeByte( ) 方 法 移动 了 writerIndex 
5.3.10 更 多 的 操作 

表 5-5 列举 了 由 ByteBuf 提 供 的 其 他 有 用 操作 。 
表 5-5 ”其 他 有 用 的 操作 


| 

如 果 至 少 有 一 个 字 节 可 被 写 入 ， 则 返回 true 
回 可 被 读 取 的 字 节 数 

回 可 被 号 入 的 字 节 数 


























| ByteBuf H] 谷 容纳 的 字 节 数 。 在 此 之 后 ， 它 会 尝试 再 次 扩 直 到 达到 naxcapacity() 
回 sytesur P] 以 容纳 的 最 大 字 节 数 
| gyteBuf 由 一 个 字 节 数组 支撑 ， 则 返回 true 


array() 如 果 Bytesur 由 一 个 字 节 数组 支撑 则 返回 该 数组 ， 否 则 ， 它 将 抛 出 一 
| Oe D 


5.4 ByteBufHolder 接 口 




















我 们 经 党 及 现 ， 除 了 实际 的 数据 负载 之 外 ， 我 们 还 需要 存储 各 种 属 


性 值 。HTTP 啊 应 便 是 一 个 很 好 的 例子 ， 除 了 表示 为 字 节 的 内 容 ， 还 包 
括 状 态 码 、cookie 等 。 


为 了 处 理 这 种 第 见 的 用 例 ，Netty 提 供 了 
ByteBufHolder。ByteBufHolder 也 为 Netty 的 高 级 特性 提供 了 文 持 ， 如 组 
冲 区 池 化 ， 其 中 可 以 从 池 中 借用 ByteBuf， 并 且 在 需要 时 自动 释放 。 


ByteBufHolder 只 有 几 种 用 于 访问 底层 数据 和 引用 计数 的 方法 。 表 5- 
6 列 出 了 它们 (这 里 不 包括 它 继承 自 Referencecounted 的 那些 方法 ) 。 





表 5-6 ”ByteBufHolder 的 操作 


Hio R 


j 回 由 这 个 ByteBufHolder T FFA 的 Byteeuf 











如 果 想 要 实现 一 个 将 其 有 效 负载 存储 在 ByteBuf 中 的 消息 对 象 ， 那 
么 ByteBufHolder 将 是 个 不 错 的 选择 


5.5 ”ByteBuf 分 配 


在 这 一 节 中 ， 我 们 将 描述 管理 ByteBuf 实 例 的 不 同方 式 。 
5.5.1 ” 按 需 分 配 : ByteBufAllocators< O 

为 了 降低 分 配 和 释放 内 存 的 开销 ，Netty 通 过 interface 
ByteBufAllocator 实 现 了 (ByteBuf 的 ) 池 化 ， 它 可 以 用 来 分 配 我 们 所 描 
述 过 的 任意 类 型 的 ByteBuf 实 例 。 使 用 池 化 是 特定 于 应 用 程序 的 决定 ， 
其 并 不 会 以 任何 方式 改变 ByteBuf API (MEX) 。 


表 5-7 列 出 了 ByteBufAllocator 提 供 的 一 些 操 作 。 


表 5-7 ByteBufAllocator 的 方法 


buffer() 或 者 直接 内 存 存储 的 Byteeur 


buffer(int initialCapacity); 
buffer(int initialCapacity, int 
maxCapacity) ; 








heapBuffer() & |B] —7 SEF HE 内 存 存储 的 ByteBuf 


heapBuffer(int initialCapacity) 
heapBuffer(int initialCapacity, 
int maxCapacity) 





directBuffer() 返回 一 个 基于 直接 内 存 存储 的 ByteBuf 


directBuffer(int initialCapacity) 
directBuffer(int initialCapacity, 
int maxCapacity) 














compas i teenen) 返 回 一 个 可 以 通过 添 加 最 大 到 指 定数 目 的 FEF HE 的 或 者 直接 内 存 存 
aia 储 的 缓冲 区 来 扩展 的 compositesytesur 

















compositeHeapBuffer(int 
maxNumComponents ) ; 











可 以 通过 channel1 (每 个 都 可 以 有 一 个 不 同 的 ByteBufAllocator 实 
例 ) 或 者 绑 定 到 channelHandler 的 channelHandlercontext 获 取 一 个 
到 ByteBufALLlocator 的 引用 。 代 码 清单 5-14 说 明了 这 两 种 方法 。 


代码 清单 5-14 ”获取 一 个 到 ByteBufAllocator 的 引用 


Channel channel = ...; 
Sage enya allocator = channel.alloc(); ~ -- MChannel 3k 
一 个 到 ByteBufAllocator 的 引用 


ChannelHandlerContext ctx = ...; 


ByteBufAllocator allocator2 = ctx.alloc(); -- 从 
ChannelHandlerContext 获取 一 个 到 ByteBufAllocator 的 引用 


Netty 提 供 了 两 种 ByteBufAllocator 的 实 


现 : PooledByteBufAllocator 和 Unpooled-ByteBufAllocator。 前 者 池 化 
了 ByteBuf 的 实例 以 提高 性 能 并 最 大 限度 地 减少 内 存 雁 族 。 此 实现 使 用 
了 一 种 称 为 jemalloc 包 的 已 被 大 量 现代 操作 系统 所 采用 的 高 效 方法 来 分 
配 内 存 。 后 者 的 实现 不 池 化 ByteBuf 实 例 ， 并 且 在 每 次 它 被 调用 时 都 会 
返回 一 个 新 的 实例 。 


虽然 Netty 默 认 H 使 用 了 pooledByteBufALLlocator， 但 这 可 以 很 容易 
地 通过 channel-config API 或 者 在 引导 你 的 应 用 程序 时 指定 一 个 不 同 的 
分 配器 来 更 改 。 更 多 的 细节 可 在 第 8 章 中 找到 。 


5.5.2 ”Unpooled 绥 冲 区 

可 能 某 些 情况 下 ， 你 未 能 获取 一 个 到 ByteBufAllocator 的 引用 。 对 
于 这 种 情况 ，Netty 提 供 了 一 个 简单 的 称 为 unpooled 的 工具 类 ， 它 提供 了 
静态 的 辅助 方法 来 创建 未 池 化 的 ByteBuf 实 例 。 表 5-8 列 举 了 这 些 中 最 重 
要 的 方法 。 
表 5-8 ”Unpooled 的 方法 














buffer() j 回 一 个 未 池 化 的 基于 堆 内 存 存 储 的 ByteBuf 


buffer(int initialCapacity) 
buffer(int initialCapacity, int maxCapacity) 








directBuffer() 返 回 一 个 未 池 化 的 基于 直接 内 存 存储 的 ByteBuf 


directBuffer(int initialCapacity) 
directBuffer(int initialCapacity, int maxCapacity) 














Unpooled 类 还 使 得 ByteBuf 同 样 可 用 于 那些 并 不 需要 Netty 的 其 他 组 
件 的 非 网 络 项 目 ， 使 得 其 能 得 益 于 高 性 能 的 可 扩展 的 缓冲 区 APTI。 


5.5.3 ”ByteBufUtil 类 


ByteBufutil 提 供 了 用 于 操作 ByteBuf 的 静态 的 辅助 方法 。 因 为 这 个 
API 是 通用 的 ， 并 且 和 池 化 无 关 ， 所 以 这 些 方法 已 然 在 分 配 类 的 外 部 实 
现 。 


这 些 静 态 方 法 中 最 有 价值 的 可 能 就 是 nexdump() 方 法 ， 它 以 十 六 进 
制 的 表示 形式 打印 ByteBuf 的 内 容 。 这 在 各 种 情况 下 都 很 有 用 ， 例 如 ， 
出 于 调试 的 目的 记录 ByteBuf 的 内 容 。 十 六 进 制 的 表示 通 第 会 提供 一 个 
比 学 市 值 的 直接 表示 形式 更 加 有 用 的 日 志 条 目 ， 此 外 ， 十 六 进 制 的 版 本 
还 可 以 很 容易 地 转换 回 实际 的 字 节 表示 。 





男 一 个 有 用 的 方法 是 boolean equals(ByteBuf, ByteBuf )， 它 被 用 
来 判断 两 个 ByteBuf 实 例 的 相等 性 。 如 果 你 实现 自己 的 ByteBuf 子 类 ， 你 
可 能 会 发 现 ByteBufutil 的 其 他 有 用 方法 。 


5.6 引用 计数 


引用 计数 是 一 种 通过 在 某 个 对 象 所 持 有 的 资源 不 再 被 其 他 对 象 引 用 
时 释放 该 对 象 所 持 有 的 资源 来 优化 内 存 使 用 和 性 能 的 技术 。Netty 在 第 4 
版 中 为 ByteBuf 和 ByteBufHolder 引 入 了 引用 计数 技术 ， 它 们 都 实现 了 


interface ReferenceCounted. 


引用 计数 背后 的 想法 并 不 是 特别 的 复杂 ; 它 主要 涉及 跟踪 到 某 个 特 
定 对 象 的 活动 引用 的 数量 。 一 个 Referencecounted 实 现 的 实例 将 通常 以 
活动 的 引用 计数 为 1 作为 开始 。 只 要 引用 计数 大 于 0， 就 能 保证 对 象 不 会 
被 释放 。 当 活动 引用 的 数量 减少 到 0 时 ， 该 实例 就 会 被 释放 。 注 意 ， 虽 
ee 但 是 至 少 已 经 释放 的 对 象 应 该 
NAJ n 


引用 计数 对 于 池 化 实现 (如 PooledByteBufAllocator ) 来 说 是 至 关 


重要 的 ， 它 降低 了 内 存 分 配 的 开销 。 代 码 清单 5-15 和 代码 清单 5-16 展 示 
了 相关 的 示例 。 


代码 清单 5-15 ”引用 计数 


Channel channel = ...; 
ByteBufAllocator allocator = channel.alloc(); ~ -- MChannel 3 
HyByteBufAllocator 











ByteBuf buffer = allocator .directBuffer(); 二 -- 从 
ByteBufAllocator 分 配 一 个 ByteBuf 
assert buffer.refCnt() == 1; ~ -- 检查 引用 计数 是 否 为 预期 的 1 


代码 清单 5-16 释放 引用 计数 的 对 象 
ByteBuf buffer = ...; 


boolean released = buffer.release(); -= -- 减少 到 该 对 象 的 活动 引用 。 
当 减 少 到 0 时 ， 该 对 象 被 释放 ， 并 且 该 方法 返回 true 





试图 访问 一 个 己 经 被 释放 的 引用 计数 的 对 象 ， 将 会 导致 一 


个 IllegalReferenceCount- Exception。 


注意 ， 一 个 特定 的 〈Referencecounted 的 实现 ) 类 ， 可 以 用 它 自 己 
的 独特 方式 来 定义 它 的 引用 计数 规则 。 例 如 ， 我 们 可 以 设想 一 个 类 ， 
其 release() 方 法 的 实现 总 是 将 引用 计数 设 为 零 ， 而 不 用 关心 它 的 当前 
值 ， 从 而 一 次 性 地 使 所 有 的 活动 引用 都 失效 。 





谁 负责 释放 ”一般 来 说 ， 是 由 最 后 访问 《引用 计数 ) 对 象 的 那 一 方 来 负责 将 
它 释放 。 在 第 6 章 中 ， 我 们 将 会 解释 这 个 概念 和 channelHandler 以 及 
channelPipeline 的 相关 性 。 








7 和 生 





本 章 专 门 探讨 了 Netty 的 基于 ByteBuf 的 数据 容器 。 我 们 首先 解释 了 
ByteBuf 相 对 于 JDK 所 提供 的 实现 的 优势 。 我 们 还 强调 了 该 API 的 其 他 可 
用 变 体 ， 并 且 指 出 了 它们 各 目 最 佳 适用 的 特定 用 例 。 


我 们 讨论 过 的 要 点 有 : 





使 用 不 同 的 读 索引 和 写 索 引 来 控制 数据 访问 ; 
使 用 内 存 的 不 同方 式 基于 字 节 数组 和 直接 缓冲 区 ; 
通过 compositeByteBuf 生 成 多 个 ByteBuf 的 聚合 视图 ; 


数据 访问 方法 一 一 搜索 、 切 片 以 及 复制 ; 











e ByteBufAllocator 池 化 和 引用 计数 。 


在 下 一 章 中 ， 我 们 将 专注 于 channelHandler， 它 为 你 的 数据 处 理 逻 
辑 提供 了 载体 。 因 为 channelHandler 大 量 地 使 用 了 ByteBuf， 你 将 开始 看 
到 Netty 的 整体 架构 的 各 个 重要 部 分 最 终 走 到 了 一 起 。 








1) 也 束 是 说 用 户 直 接 或 者 间接 使 capacity(int) 或 
者 ensurewritable(int) 方 法 来 增加 超过 该 最 大 容量 时 抛 出 异常 。 Ve 
ALE 


2] ， Java 平台 ， 标 准 版 第 8 版 API 规 范 ，java.nio，class § ByteBuffer: 
http://docs.oracle. com/javase/8/docs/api/ java/nio/ByteBuffer.html 


[3] ”这 尤其 适用 于 JDK 所 使 用 的 一 种 称 为 分 散 /收集 MO (Scatter/Gather 
VO) 的 技术 ， 定 义 为 “一 种 输入 和 输出 的 方法 ， 其 中 ， 单 个 系统 调用 从 
单个 数据 流 写 到 一 组 缓冲 区 中 ， 或 者 ， 从 单个 数据 源 读 到 一 组 绥 冲 区 
中 ”。 «Linux System Programming》， 作 者 Robert Love (O’Reilly, 
2007) 。 


[4] 因为 只 是 移动 了 可 以 读 取 的 字 节 以 及 writerIndex， 而 没有 对 所 有 可 
写 入 的 字 节 进行 擦 除 写 。 一 一 译 者 注 


[5] 在 往 ByteBuf 中 写 入 数据 时 ， 其 将 首先 确保 目标 ByteBuf 有 具有 足够 的 可 
写 入 空间 来 容纳 当前 要 写 入 的 数据 ， 如 果 没 有 ， 则 将 检查 当前 的 写 索引 
以 及 最 大 容量 是 舍 可 以 在 扩展 后 容纳 该 数据 ， 可 以 则 会 分 配 并 调整 容 











量 ， 否 则 就 会 抛 出 该 异常 。 一 一 译 者 注 
[6] 在 Netty 4.1.x 中 ， 该 类 已 经 废弃 ， 请 使 
用 io.,netty.util.ByteProcessor。 一 一 译 者 注 


[7] 有 关 Flash 套 接 字 的 讨论 可 参考 Flash ActionScript 3.0 Developer’s 
Guide 中 Networking and Communication 部 分 里 的 Sockets 页 面 : 
http://help.adobe.com/en_US/as3/dev/WSb2ba3b1aad8a27b0- 
181¢51321220efd9d1c-8000.html. 


[8] 默认 地 ， 当 所 运行 的 环境 具有 sun.misc.Unsafe 文 持 时 ， 返 回 基于 直 
接 内 存 存储 的 ByteBuf， 否 则 返回 基于 堆 内 存 存储 的 ByteBuf; 当 指 定 使 





用 PreferHeapByteBufAllocator 时 ， 则 只 会 返回 基于 堆 内 存 存 储 的 
ByteBuf。 EAE 





[9] Jason Evans 的 “A_ Scalable Concurrent malloc(3) Implementation for 
FreeBSD” (2006) : http://people.freebsd. 
org/~jasone/jemalloc/bsdcan2006/jemalloc.pdf。 


[10] 这 里 指 Netty4.1.x，Netty4.0.x 默 认 使 用 的 
是 UnpooledByteBufAllocator。 译 者 注 





2865: ChannelHandler#!ChannelPipeline 


本 章 主要 内 容 


e ChannelHandler API#lchannelPipeline API 
。 于 常 处理 
在 上 一 章 中 你 学 习 了 ByteBuf Netty 的 数据 容器 。 当 我 们 在 本 章 
中 探讨 Netty 的 数据 流 以 及 处 理 组 件 时 ， 我 们 将 基于 已 经 学 过 的 东西 ， 
并 且 你 将 开始 看 到 框 染 的 重要 元 素 都 结合 到 了 一 起 。 
你 已 经 知道 ， 可 以 在 channelPipeline 中 将 channelHandler 链 接 在 一 


起 以 组 织 处 理 逻 辑 。 我 们 将 会 研究 涉及 这 些 类 的 各 种 用 例 ， 以 及 一 个 重 
要 的 关系 ChannelHandlerContext. 


理解 所 有 这 些 组 件 之 间 的 交互 对 于 通过 Netty 构 建 模块 化 的 、 可 重 
用 的 实现 至 天 重要 。 


6.1 ” ChannelHandler 家 族 











在 我 们 开始 详细 地 学 习 channelHandler 之 前 ， 我 们 将 在 Netty 的 组 件 
模型 的 这 部 分 基础 上 花 上 一 些 时 间 。 


6.1.1 ”Channel 的 生命 周期 





Interface Channelie X J —2H #llchannelInboundHandler API YJ 4H 
关 的 简单 但 功能 强大 的 状态 模型 ， 表 6-1 列 出 了 channel 的 这 4 个 状态 。 


表 6-1 channel 的 生命 周期 状态 


状 态 fi R 
channel 书 经 被 创建 ， 但 还 未 注册 到 eventtoop 
Channel 已 经 被 注册 到 T eao 


ChannelActive Channel 上 于 活动 状态 ( 己 经 连接 到 它 的 远程 节 FA) o 它 现在 可 以 接收 和 发 送 数 
据 了 


came 没 有 连接 到 远程 节点 














channel 的 正常 生命 周期 如 图 6-1 所 示 。 当 这 些 状态 发 生 改 变 时 ， 将 
会 生成 对 应 的 事件 。 这 些 事件 将 会 被 转发 给 channelPipeline 中 的 
channelHandler， 其 可 以 随后 对 它们 做 出 啊 应 。 


ChannelReqistered Channel Active 


ChannelUnregistered Channel Inactive 





图 6-1 channel 的 状态 模型 
6.1.2 ”ChannelHandler 的 生命 周期 
表 6-2 中 列 出 了 interface channelHandler 定 义 的 生命 周期 操作 ， 
在 channelHandler 被 添加 到 channelPipeline 中 或 者 被 从 channelPipeline 
中 移 除 时 会 调用 这 些 操作 。 这 些 方法 中 的 每 一 个 都 接受 一 


个 channelHandlercontext 参 数 。 


表 6-2 channelHandler 的 生命 周期 方法 











| handlerRemoved E en 2 移 除 cnannelnandler 时 被 调 用 | 
a 当 处 理 过 程 中 在 cvameapipeline 中 有 错误 产生 时 被 调用 








Netty 定 义 了 下 面 两 个 重要 的 channelHandler 子 接口 : 


处 理 入 站 数据 以 及 各 种 状态 变化 ; 
处 理 出 站 数据 并 且 人 允许 拦截 所 有 的 操 





e ChannelInboundHandler 
e ChannelOutboundHandler 


VE 
在 接 下 来 的 章节 中 ， 我 们 将 详细 地 讨论 这 些 子 接口 。 
6.1.3 ChannelInboundHandler# HO 





226-35) [interface ”ChannelInboundHandler 的 生命 周期 方法 。 
这 些 方法 将 会 在 数据 被 接收 时 或 者 与 其 对 应 的 channel 状 态 发 生 改 变 时 
i 正如 我 们 前 面 所 提 到 的 ， 这 些 方法 和 channel 的 生命 周期 密切 
HK. 


表 6-3 channelInboundHandler 的 方法 





当 chamel 已 经 注册 到 它 的 Eventroop 并 且 能 够 处 理 W/O 时 被 调用 

当 cnamel 从 它 的 eventtoo 注 销 并 且 无 法 处 理 任何 UVO 时 被 调用 

当 cnamnel 处 于 活动 状态 时 被 调用 ;，cnanez 已 经 连接 / 绑 定 并 且 已 经 就 绪 
当 chanel 离开 活动 状态 并 且 不 再 连接 它 的 远程 节点 时 被 调用 

当 chamnei 上 的 一 个 读 操作 完成 时 被 调用 由 


| | 















































| channelRead | 当 从 channel 读 取 数 据 时 被 调用 


channelwritability [|24 cnannei 的 可 写 状 态 发 生 改 变 时 被 调用 。 用 户 可 以 确保 写 操作 不 会 完成 得 太 快 
> Changed ( 以 避免 发 生 OutofMemoryError ) 或 者 可 以 在 cnamei 变 为 再 次 可 与 时 恢复 写 入 o 可 以 
通过 调用 channei 的 iswritaplel) 方 法 来 检测 cnannel 的 可 写 = HE 与 可 写 = 性 EAB AY fe (EL PT 


以 通过 cnannel. config(). setwriteHighwatermark()4lchannel. config().setwriteLowwater - mark() 方 法 来 


























userEventTriggered 当 ChannelnboundHandler . fireUserEventTriggered( ) 方 法 被 调用 时 被 调 月 办 为 一 个 POJO 被 传 


经 J ChannelPipeline 











当 某 个 channelInboundHandler 的 实现 重 写 channelRead() 方 法 时 ， 
它 将 负责 显 式 地 释放 与 池 化 的 ByteBuf 实 例 相 关 的 内 存 。Netty 为 此 提供 
了 一 个 实用 方法 ReferenceCount -Util.release(), 如 代码 清单 6-1 所 
ZN o 


代码 清单 6-1 释放 消息 资源 


@Sharable 
public class DiscardHandler extends ChannelInboundHandlerAdapter 
- 4 }é fChannel-InboundHandler -Adapter 

@Override 


public void channelRead(ChannelHandlerContext ctx, Object msg) { 
- “丢弃 已 接收 的 消息 


ReferenceCountUtil.release(msg); 
} 





Netty 将 使 用 wARN 级 别 的 日 志 消 息 记 录 未 释放 的 资 使 得 可 以 非常 
简单 地 在 代码 中 发 现 违 规 的 实例 。 但 是 以 这 种 方式 管理 资源 可 能 很 繁 
i. 一 个 更 加 简单 的 方式 是 使 用 Simple- cannet Treoundtander 代码 

清单 6-2 是 代码 清单 6-1 的 一 个 变 体 ， 说 明了 这 一 点 。 


代码 清单 6-2 ”使 用 simplechannelInboundHandler 





@Sharable 
public class SimpleDiscardHandler 

extends SimpleChannelInboundHandler<Object> { © -- 扩展 了 
SimpleChannelInboundHandler 

@Override 

public void channelRead@(ChannelHandlerContext ctx, 


Object msg) { 
// No need to do anything special =- -- 不 需要 任何 显 式 的 资源 
释放 


} 
} 





由 于 simplechannelInboundHandler 会 自动 释放 资源 ， 所 以 你 不 应 该 
存储 指 同 任何 消息 的 引用 供 将 来 使 用 ， 因 为 这 些 引 用 都 将 会 失效 。 


6.1.6 节 为 引用 处 理 提供 了 更 加 详细 的 讨论 。 
6.1.4 ChannelOutboundHandler 接 口 


出 站 操作 和 数据 将 由 channeloutboundHandler 处 理 。 它 的 方法 将 被 
Channel, Channel- Pipeline 以 及 channelHandlercontext 调 用 。 


channeloutboundHandler 的 一 个 强大 的 功能 是 可 以 按 需 推迟 操作 或 
者 事件 ， 这 使 得 可 以 通过 一 些 复杂 的 方法 来 处 理 请 求 。 例 如 ， 如 果 到 远 
程 节点 的 写 入 被 暂停 了 ， 那 么 你 可 以 推迟 冲刷 操作 并 在 稍 后 继续 。 


表 6-4 显 示 了 所 有 由 channeloutboundHandler 本 身 所 定义 的 方法 ( 忽 
i J IKE MA channel- Handler 继 承 的 方法 ) 。 





表 6-4 channeloutboundHandler 的 方法 








当 请 求 将 cnanmnei 绑 定 到 本 地 地 址 时 被 调用 
SocketAddress, ChannelPromise) 

connect(ChannelHandlerContext, 当 请 求 将 chamel 连 接 到 远程 节点 时 被 调用 
SocketAddress, SocketAddress, ChannelPromise) 
当 请 求 将 onamel 从 远程 节点 断 开 时 被 调用 
ChannelPromise ) 
当 请 求 关闭 chanel 时 被 调用 























deregister(ChannelHandlerContext, 当 请 求 将 channel 从 它 的 EventlLoop 注 销 时 被 调 用 
ChannelPromise ) 


当 请 求 从 wwe: 读 取 更 多 的 数据 时 被 调用 
当 请 求 通过 wanea 将 入 队 数据 冲刷 到 远程 节点 时 被 调用 
































write(ChannelHandlerContext, Object, 当 请 求 通过 channel 将 数据 写 到 远程 节 点 时 被 调 月 


ChannelPromise ) 








ChannelPromise!jChannelFuture channeloutboundHandler 中 的 大 部 分 方法 
都 需要 一 个 channelPromise 参 数 ， 以 便 在 操作 完成 时 得 到 通 
知 。 channelPromise 是 channelFuture 的 个 子 类 ， 定义 了 一 些 可 写 的 方 


法 ， 如 setSuccess( ) 和 setFailure( )> 从 而 使 channelFuture 不 可 变 四] 
































接 下 来 我 们 将 看 一 看 那些 简化 了 编写 ChannelHandler 的 任务 的 类 。 
6.1.5 ”ChannelHandler 适 配器 


你 可 以 使 用 channeLInboundHandlerAdapter 和 
channeloutboundHandlerAdapter 类 作为 自己 的 channelHandler 的 起 始 
点 。 这 两 个 适配器 分 别提 供 了 channelInboundHandler 和 
channeloutboundHandler 的 基本 实现 。 通 过 扩展 抽象 
类 channelHandlerAdapter， 它 们 获得 了 它们 共同 的 超 接 口 
channelHandler 的 方法 。 生 成 的 类 的 层次 结构 如 图 6-2 所 示 。 








cMtertace) 





Channel noouocdland eraoter 





Channel abound er 





interface» 


ChannelRandler 





AAN 


CE 


\ | 








CIMterface) 


Channel uthounddander 








Chane CutoounddancLer danter 





图 6-2 channelHandlerAdapter 类 的 层次 结构 


channelHandlerAdapter 还 提供 了 实用 方法 issharable()。 如 果 其 对 





应 的 实现 被 标注 为 Sharable， 那么 这 个 方法 将 返回 true， 表示 它 可 以 被 
添加 到 多 个 channelPipeline 中 《如 在 2.3.1 节 中 所 讨论 过 的 一 样 ) 。 


在 channelInboundHandlerAdapter 和 
channeloutboundHandlerAdapter 中 所 提供 的 方法 体 调用 了 其 相关 联 的 
channelHandlercontext 上 的 等 效 方法 ， 从 而 将 事件 转发 到 了 
channelPipeline 中 的 下 一 个 channelHandler 中 。 


你 要 想 在 自己 的 channelHandler 中 使 用 这 些 适 配器 类 ， 只 需要 简单 
地 扩展 它们 ， 并 且 重 写 那些 你 想 要 上 自 定 义 的 方法 。 


6.1.6 ”资源 管理 





每 当 通 过 调用 channelInboundHandler .channelRead( ) Bk 
者 channeloutbound- Handler .write() 方 法 来 处 理 数 据 时 ， 你 都 需要 确 
保 没 有 任何 的 资源 泄漏 。 你 可 能 还 记得 在 前 面 的 章节 中 所 提 到 的 ， 
Netty 使 用 引用 计数 来 处 理 池 化 的 ByteBuf。 所 以 在 完全 使 用 完 某 
个 ByteBuf 后 ， 调 整 其 引用 计数 是 很 重要 的 。 


为 了 帮助 你 诊断 潜在 的 (资源 泄漏 〉 问题，Netty 提 供 了 class 
ResourceLeakDetectorIl， 它 将 对 你 应 用 程序 的 缓冲 区 分 配 做 大 约 1% 的 
采样 来 检测 内 存 泄露 。 相 关 的 开销 是 非常 小 的 。 


如 末 检 测 到 了 内 存 泄露 ， 将 会 产生 类 似 于 下 面 的 日 志 消 息 : 


LEAK: ByteBuf.release() was not called before it's garbage- 
collected. Enable 

advanced leak reporting to find out where the leak occurred. To e 
advanced leak reporting, specify the JVM option 
'-Dio.netty.leakDetectionLevel=ADVANCED' or call 
ResourceLeakDetector.setLevel(). 





Netty 目 前 定义 了 4 种 泄漏 检测 级 别 ， 如 表 6-5 所 示 。 
表 6-5 ”泄漏 检测 级 别 





























| DISABLED | 禁用 泄漏 检测 。 只 有 在 详尽 的 测试 之 后 才 应 设置 为 这 个 值 








| 使 用 1% 的 默认 采样 率 检测 并 报告 任何 发 现 的 泄露 。 这 是 默认 级 别 ， 适 合 绝 大 部 分 的 情 
况 








使 用 默认 的 采样 率 ， 报 告 所 发 现 的 任何 的 泄露 以 及 对 应 的 消息 被 访问 的 位 置 





paranoro 上 类似 于 sovwwcep， 但 是 其 将 会 对 每 次 “对 消息 的 ) 访问 都 进行 采样 。 这 对 性 能 将 
大 的 影响 ， 应 该 只 在 调试 阶段 使 用 














泄露 检测 级 别 可 以 通过 将 下 面 的 Java 系 统 属性 设置 为 表 中 的 一 个 值 
来 定义 : 
java -Dio.netty.leakDetectionLevel=ADVANCED 


如 果 带 着 该 JVM 选 项 重新 启动 你 的 应 用 程序 ， 你 将 看 到 上 自己 的 应 用 
程序 最 近 被 泄漏 的 缓冲 区 被 访问 的 位 置 。 下 面 是 一 个 典型 的 由 单元 测试 
产生 的 泄漏 报告 : 


Running io.netty.handler.codec.xml.XmlFrameDecoderTest 
15:03:36.886 [main] ERROR io.netty.util.ResourceLeakDetector - LE 
ByteBuf.release() was not called before it's garbage- 

collected. 

Recent access records: 1 

#1: io0.netty.buffer.AdvancedLeakAwareByteBuf .toString( 
AdvancedLeakAwareByteBuf . java: 697) 

io.netty.handler.codec.xml.XmlFrameDecoderTest.testDecodewithxml ( 
XmlFrameDecoderTest.java:157) 

io.netty.handler.codec.xml.XmlFrameDecoderTest.testDecodewithTwom 
XmlFrameDecoderTest.java:133) 


实现 channelInboundHandler .channelRead( ) fil 
channeloutboundHandler.write() 方 法 时 ， 应 该 如 何 使 用 这 个 诊断 工具 
来 防止 泄露 呢 ? 让 我 们 看 看 你 的 channelRead() 操 作 直 接 消 费 入 站 消息 
的 情况 ; 也 就 是 说 ， 它 不 会 通过 调 
用 channeLHandlercontext .fireCchanneLRead() 方 法 将 入 站 消息 转发 给 下 
一 个 channelInboundHandler。 代 码 清单 6-3 展 示 了 如 何 释放 消息 。 


代码 清单 6-3 ”消费 并 释放 入 站 消息 


@Sharable 
public class DiscardInboundHandler extends ChannelInboundHandlerA 
- PR /ChannelInboundandlerAdapter 





@Override 
public void channelRead(ChannelHandlerContext ctx, Object ms g) { 
ReferenceCountUtil.release(msg); = == 通过 调用 
ReferenceCountUtil.release( ) 方 法 释放 资源 


} 
} 

















消费 入 站 消息 的 简单 方式 ”由 于 消费 入 站 数据 是 一 项 常规 任务 ， 所 以 Netty 提 
供 了 一 个 特殊 的 被 称 为 simplechannelInboundHandler 的 
channelInboundHandler 实 现 。 这 个 实现 会 在 消息 被 channelRead0() 方 法 消费 
之 后 自动 释放 消息 。 






































在 出 站 方 同 这 边 ， 如 果 你 处 理 了 write( ) 操 作 并 丢弃 了 一 个 消 恩 ， 
你 也 应 该 负责 释放 它 。 代 码 清单 6-4 展 示 了 一 个 丢弃 所 有 的 写 入 数 
jE HI SEEM o 


代码 清单 6-4 丢弃 并 释放 出 站 消息 


@Sharable 
public class DiscardOutboundHandler 
extends ChannelOutboundHandlerAdapter { =- -- 扩展 了 
ChannelOutboundHandlerAdapter 
@Override 
public void write(ChannelHandlerContext ctx, 
Object msg, ChannelPromise promise) { 























ReferenceCountUtil.release(msg); Z =e 通过 使 用 
R a ee ee 
promise.setSuccess(); - -- 通知 channelPromise 数 据 已 经 被 处 
理 了 
} 
} 





重要 的 是 ， 不 仅 要 释放 资源 ， 还 要 通知 channelPromise。 人 否则 可 能 
会 出 现 channel- FutureListener 收 不 到 某 个 消息 已 经 被 处 理 了 的 通 anit 
fav 





总 之 ， 如 果 一 个 消息 被 消费 或 者 丢弃 了 ， 并 且 没 有 传递 给 
channelPipeline 中 的 下 一 个 channeloutboundHandler， 那么 用 户 就 有 责 
任 调用 ReferencecountuUtil.release()。 如 果 消 息 到 达 了 实际 的 传输 
层 ， 那 么 当 它 被 写 入 时 或 者 channe1 关 闭 时 ， 都 将 被 自动 释放 。 


6.2 ”ChannelPipeline 接 口 


如 果 你 认为 channelPipeline 是 一 个 拦截 流 经 channel 的 入 站 和 出 站 
事件 的 channel- Handler 实 例 链 » ABA 束 很 容易 看 出 这 些 channelHandler 
之 间 的 交互 是 如 何 组 成 一 个 应 用 程序 数据 和 事件 处 理 逻 辑 的 核心 的 。 


每 一 个 新 创建 的 channel 都 将 会 被 分 配 一 个 新 的 channelPipeline。 
这 项 关联 是 永久 性 的 ，channel 既 不 能 附加 另外 一 个 channelPipeline， 
也 不 能 分 离 其 当前 的 。 在 Netty 组 件 的 生命 周期 中 ， 这 是 一 项 固定 的 操 
作 ， 不 需要 开发 人 员 的 任何 干预 。 


根据 事件 的 起 源 ， 事件 将 会 被 channelInboundHandler 或 
者 channeloutboundHandler 处 理 。 随 后 ， 通 过 调 
用 channelHandlercontext 实 现 ， 它 将 被 转发 给 同一 超 类 型 的 下 一 
个 channelHandler。 








ChannelHandlerContext 


ChannelHandlercontext 使 得 channelHandler 能 够 和 它 的 
channelPipeline 以 及 其 他 的 channelHandler 交 互 。 ChannelHandler 
可 以 通知 其 所 属 的 channelPipeline 中 的 下 一 个 channelHandler， 其 
至 可 以 动态 修改 它 所 属 的 channelPipelinel41。 


channeLHandlercontext 具 有 丰富 的 用 于 处 理事 件 和 执行 IO 操 
作 的 API。6.3 节 将 提供 有 关 channelHandlercontext 的 更 多 内 容 。 


图 6-3 展 示 了 一 个 典型 的 同时 具有 入 站 和 出 站 channelHandler 的 
channelPipeline 的 布局 ， 并 且 印 证 了 我 们 之 前 的 关于 channelPipeline 
主要 由 一 系列 的 channelHandler 所 组 成 的 说 法 o channelPipeline 还 提供 
了 通过 channelPipeline 本 里 传播 事件 的 方法 。 如 果 一 个 入 站 事件 被 触 








发 ， 它 将 被 从 channelPipeline 的 头 部 开始 一 直 被 传播 到 channe1l 
Pipeline 的 尾 端 。 在 图 6-3 中 ， 一 个 出 站 IO 事件 将 从 channelPipeline 的 
最 右边 开始 ， 然 后 同 左 传播 。 








图 6-3 ChannelPipelinefll’E HJchannelHandler 


ChannelPipeline 相 对 论 


你 可 能 会 说 ， 从 事件 途经 channelPipeline 的 角度 来 
看 ，channelPipeline 的 头 部 和 尾 端 取决 于 该 事件 是 入 站 的 还 是 出 站 
的 。 然 而 Netty 总 是 将 channelPipeline 的 入 站 口 〈 图 6-3 中 的 无 侧 ) 
作为 头 部 ， 而 将 出 站 口 〈 该 图 的 右 侧 ) 作为 尾 端 


当 你 完成 了 通过 调用 channelPipeline.add*() 方 法 将 入 站 处 理 
4% (ChannelInboundHandler) 和 出 站 处 理 器 
(ChanneloutboundHandler ) 混合 添加 到 channelPipeline 之 后 ， 
一 个 channelHandler 从 涉 部 到 尾 端 的 顺序 位 置 正如 同 我 们 方才 所 定 
义 它们 的 一 样 。 因 此 ， 如 果 你 将 图 6-3 中 的 处 理 器 
(ChannelHandler) 从 左 到 右 进 行 编写， 那么 第 一 个 被 入 站 事件 看 
到 的 channelHandler 将 是 1， 而 第 一 个 被 出 站 事件 看 到 的 


channelHandler 将 是 5。 


在 channelPipeline 传 播 事 件 时 ， 它 会 测试 channelPipeline 中 的 下 
一 个 channel- Handler 的 类 型 是 否 和 事件 的 运动 方向 相 匹 配 。 如 果 不 匹 
AC, ChannelPipeline 将 跳 过 该 channelHandler 并 前 进 到 下 一 个 ， 直到 它 
找到 和 该 事件 所 期 望 的 方向 相 匹 配 的 为 止 。 (当然 ，channelHandler 也 
可 以 同时 实现 channelInboundHandler 接 口 和 channeloutbound- Handler 
接口 。) 


6.2.1 ”修改 ChannelPipeline 


channelHandler 可 以 通过 添加 、 删 除 或 者 蔡 换 其 他 的 
channelHandler 来 实时 地 修改 channelPipeline 的 布局 。( 它 也 可 以 将 它 
自己 从 channelPipeline 中 移 除 。) 这 是 channel- Handler 最 重要 的 能 
所 以 我 们 将 仔细 地 来 看 看 它 是 如 何 做 到 的 。 表 6-6 列 出 了 相关 的 
Hike 


表 6-6 channelPipeline 上 的 相关 方法 ， 由 channelHandler 用 来 修 
改 channelPipeline 的 布局 








remove = channelHandler 从 channelpipeline 中 移 除 | 
将 ChannelPipeline 中 的 一 个 cnannelhandler 替换 为 另 一 个 channel- Handler 





代码 清单 6-5 展 示 了 这 些 方法 的 使 用 。 


代码 清单 6-5 ”修改 channelPipeline 





ChannelPipeline pipeline = ..; 

FirstHandler firstHandler = new FirstHandler(); - -- 创建 一 个 
FirstHandler 的 实例 

pipeline.addLast("handler1", firstHandler); - -- 将 该 实例 作 
为 "handler1" 添加 到 channelPipeline 中 
pipeline.addFirst("handler2", new SecondHandler()); =- -- 将 一 个 


SecondHandler 的 实例 作为 "handler2" 添 加 到 ChanneLPipelLine 的 第 一 个 槽 中 。 这 
意味 着 它 将 被 放置 在 已 有 的 "handler1" 之 前 

pipeline.addLast("handler3", new ThirdHandler()); - -- 将 一 个 
的 实例 作为 "handler3" 添 加 到 channelPipeline 的 最 后 一 个 槽 





pipeline.remove("handler3"); =- -- 通过 名 称 移 除 "handler3" 
pipeline.remove(firstHandler);  -- 通过 引 用 移 除 FirstHandler CÈ 
是 唯一 的 ， 所 以 不 需要 它 的 名 称 ) 

pipeline.replace("handler2", "handler4", new ForthHandler()); < 
- SecondHandler ("handler2" ) ##AFourthHandler:"handler4" 


稍 后 ， 你 将 看 到 ， 重 组 channelHandler 的 这 种 能 力 使 我 们 可 以 用 它 
来 轻松 地 实现 极其 灵活 的 逻辑 。 


ChannelHandler 的 执行 和 阻塞 





通常 channelPipeline 中 的 每 一 个 channelHandler 都 是 通过 它 的 
EventLoop 《LO 线程》 来 处 理 传递 给 它 的 事件 的 。 所 以 至 关 重 要 的 
是 不 要 阻塞 这 个 线程 ， 因 为 这 会 对 整体 的 1/O 处 理 产 生 人 负面 的 影 
啊 。 


但 有 时 可 能 需要 与 那些 使 用 阻塞 API 的 遗留 代码 进行 交互 。 对 
于 这 种 情况 ，channelPipeline 有 一 些 接受 一 个 EventExecutorGroup 


的 add() 方 法 。 如 果 一 个 事件 被 传递 给 一 个 自 定义 的 EventExecutor- 





Group， 它 将 被 包含 在 这 个 EventExecutorGroup 中 的 某 

个 EventExecutor 所 处 理 ， 从 而 被 从 该 channel 本 身 的 EventLoop 中 移 
除 。 对 于 这 种 用 例 ，Netty 提 供 了 一 个 叫 DefaultEventExecutor- 
Group 的 默认 实现 。 


除了 这 些 操 作 ， 还 有 别 的 通过 类 型 或 者 名 称 来 访问 channelHandler 
的 方法 。 这 些 方法 都 列 在 了 表 6-7 中 。 


表 6-7 channelPipeline 的 用 于 访问 channelHandler 的 操作 





ka 述 
一 | 通 类 型 或 者 名 称 i 返回 ChannelHandler 

















返回 和 cnannelhandier he Ke H'J channelHandlercontext 
返回 ChannelPipeline 中 所 有 cnannelhandler 的 名 称 


6.2.2 ”触发 事件 
channelPipeline 的 API 公 开 了 用 于 调用 入 站 和 出 站 操作 的 附加 方 

法 。 表 6-8 列 出 了 入 站 操作 ， 用 于 通知 channelInboundHandler 

在 channelPipeline 中 所 发 生 的 事件 。 


表 6-8 channelpPipeline 的 入 站 操作 











fireChannelRegistered 调用 channelpipeline 中 下 一 | channelinboundhandler 的 
channelRegistered(ChannelHandlercontext) 77 ¥ 


fireChannelUnregistered 调 用 ChannelPipeline 中 lee dischannelinbolndHandier 的 
channelunregistered(channelHandlercontext) JJ Y. 





| fireChannelActive | 调用 channelpipeline 中 下 一 | channelInboundhandler 的 JchannelActive(channelhandlercontext) 方 


firechannelInactive 调 用 ChannelPipeline 中 人 te 


DIA 





fireExceptionCaught 调用 channelpipeline 中 下 一 | ChannelInboundHandler ff] exceptionCaught(ChannelHandlercontext, 


Throwable) JJ Y% 





fireUserEventTriggered 调用 ChannelPipeline 中 人 的 
userEventTriggered(ChannelHandlerContext, object) i 


fireChannelRead 调用 channelpipeline 中 下 一 | channelInboundHandler 了 J channelRead (channelHandlercontext, 


object msg) 方 法 





fireChannelReadComplete 调 用 ChannelPipeline 中 下 下 的 
去 


fireChannelwritability - 调 用 ChannelPipeline 中 下 一 个 channelrnboundHandler 的 
Changed 





channelwritabilityChanged(ChannelHandlerContext) 方法 


在 出 站 这 边 ， 处 理事 件 将 会 导致 底层 的 套 接 字 上 发 生 一 系列 的 动 
作 。 表 6-9 列 出 了 channel- Pipeline API 的 出 站 操作 。 


表 6-9 channelPipeline 的 出 站 操作 


称 
bind 将 channel 绑 定 到 一 个 本 地 地 址 ， 这 将 调用 channelpipeline 中 的 下 一 | ChanneloutboundHandler HY 
bind(ChannelHandlerContext, Socket- Address, channelpromise) 方 法 
connect 将 channel e422 4] — 一 个 远 远程 地 址 ， 这 将 调用 channelpipeline 中 的 下 一 | channeloutboundhandler 的 
connect (ChannelHandlerContext, Socket- Address, Channeleronise Wangs 
disconnect 将 channel 人 打开 连接 。 这 将 调用 channeipipeline 中 的 下 一 个 cnanneloutbound- Handler 的 ] 
disconnect(ChannelHandlerContext, Channel promise) 方 法 




















close 将 channel 关 闭 。 这 将 调用 channelpipeline 中 的 下 一 个 Channeloutbound- Handler fh] 
iclose(ChannelHandlerContext, en 

deregister 将 channel 从 它 先 前 所 分 配 的 EventExecutor C Ep EventLoop ) 中 注销 o 这 将 调用 cnannelpipeline 中 
的 下 一 个 cnanneloutboundhandler 的 deregister (ChannelHandlerContext, channelpromise) 方 法 


flush 冲刷 channel 所 有 挂 起 的 与 次 要 这 将 调用 cnannelipipeline 中 的 下 一 | Channel- OutboundHandler 的 
去 


write 将 消 BEA Channelo 这 将 调 用 ChannelPipeline 中 的 下 一 个 camea- OutboundHandler 的 
的 < ， 而 只 全 将 它 Object msg, Channel- promise) 方 法 。 注意 fae 这 并 不 会 将 消息 写 入 底层 
的 socret， 而 只 只 会 将 它 ELAR SIF o 要 将 它 已 写 入 socket， 需 a yA HH tushe ) a 


方法 


这 是 一 个 先 调用 write() 方 法 再 接着 调用 musn0) 方 法 的 便利 方法 
read 请 求 从 channel 中 读 取 更 多 的 数据 o 这 将 调用 channelpipeline 中 的 下 一 个 channeloutboundHandler 
的 readcchannelHandlercontext) 方 法 





















































总 结 一 下 : 


° channelPipeline 保 存 了 与 channel 相 关联 的 channelHandler; 

e ChannelPipeline 可 以 根据 需要 ， 通 过 添加 或 者 删除 channelHandler 
来 动态 地 修改 ; 

。 channelPipeline 有 着 丰富 的 API 用 以 被 调用 ， 以 响应 入 站 和 出 站 事 
件 。 


6.3 ChannelHandlerContext 按 口 





channelHandlercontext 代 表 了 channelHandler 和 channelPipeline 之 
间 的 关联 ， 每 当 有 channelHandler 添 加 到 channelPipeline 中 时 ， 都 会 创 
建 channelHandler- Context. channelHandlercontext 的 主要 功能 是 管理 
它 所 关联 的 channelHandler 和 在 同一 个 channelPipeline 中 的 其 他 
ChannelHandler.Z [AJ HJ 22 E.o 


channelHandlercontext 有 很 多 的 方法 ， 其 中 一 些 方法 也 存在 于 
channel 和 和 channel- Pipeline 本 身上 ， 但 是 有 一 点 重要 的 不 同 。 如 果 调 
用 channe1 或 者 channelPipeline 上 的 这 些 方法 ， 它 们 将 沿 着 整 
个 channelPipeline 进 行 传播 。 而 调用 位 于 channelHandlercontext 上 的 
相同 方法 ， 则 将 从 当前 所 关联 的 channelHandler 开 始 ， 并 且 只 会 传播 给 
位 于 该 channelPipeline 中 的 下 一 个 能 够 处 理 该 事件 的 channelHandler。 








表 6-10 对 channelHandlercontext API 进 行 了 总 结 。 


表 6-10 ChannelHandlercontextHJAPI 


























fireChannelRead 触发 对 下 一 | channeltnboundHandier 上 的 channelead() 方 法 (已 接收 的 消息 ) 的 
| kE 


fireChannelReadComplete 触发 对 下 =e | Cr Eijenannelnearcomnlece ) 方 法 的 调 用 





fireChannelRegistered 触发 对 下 一 个 channelInboundhandler 上 的 firechannelRegistered( ) 方 法 的 调 用 


fireChannelUnregistered 触发 对 下 一 | channelInboundHandier 上 的 firechannelunregistered() 方 法 的 调用 


fireChannelwritabilityChanged 触发 对 下 一 | channelInboundHandier 上 的 firechannelwritabilitychanged() 方 法 的 调用 


fireExceptionCaught 触发 对 下 一 个 channelInboundHandler 上 的 fireExceptioncaught(Throwable) 方 法 的 调用 


fireUserEventTriggered 触发 对 下 一 | channelInboundHandier 上 的 fireuserEventTriggered(object evt) 方 法 的 调用 


| 绑 定 到 这 个 实例 的 hanD ee ee 
| Be 的 ChannelHandler 已 经 被 从 channelpipeline 中 移 除 则 返 回 














这 个 实例 的 唯一 名 称 





| ) 这 个 实例 所 关联 的 Ghanne Phen ane 


read 将 数据 从 channer EREJE — AS A EBX RE A STH fk BEI 
个 cnannelkeaq 事 件 ， 并 《在 最 后 一 个 消息 被 读 取 完 成 后 ) 通知 
ChannelInboundHandler 的 channelReadCcomplete (ChannelHandlerContext ) 方 法 
| 5 AW 息 并 经 过 ChannelPipeline 























writeAndFlush 通过 这 个 实例 写 入 并 冲刷 消 息 并 经 过 ChannelPipeline 





当 使 用 channelHandlercontext 的 API 的 时 候 ， 请 牢记 以 下 两 点 : 


e ChannelHandlercontext 利 channelHandler 之 间 的 关联 ( 绑 定 ) 是 水 


远 不 会 改变 的 ， 所 以 缓存 对 它 的 引用 是 安全 的 ; 

© 如 同 我 们 在 本 节 开 头 所 解释 的 一 样 ， 相 对 于 其 他 类 的 同名 方 
法 ，channelHandlercontext 的 方法 将 产生 更 短 的 事件 流 ， 应 该 尽 可 
能 地 利用 这 个 特性 来 获得 最 大 的 性 能 。 


6.3.1 ”使 用 ChannelHandlerContext 
在 这 一 节 中 我 们 将 讨论 channelHandlercontext 的 用 法 ， 以 及 存在 于 


channelHandler- Context、 channel 和 channelPipeline 上 的 方法 的 行 


为 。 图 6-4 展 示 了 它们 之 间 的 关系 。 





Channeliidte3] © Channel 8}ChannelPipeine ChanneHandler 
ChannePipelng 83 7 rE ChannelHandler 


| 


Channel Pipeline 


ChannelHandler 


Channel| | ChannelHandler ChannelHandler 





ChannelHandlerContext H ChannelHandlerContext H ChannelHandlerContext 


#AChannelHandleritM3!ChannelPipeline, 
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图 6-4 Channel, ChannelPipeline, ChannelHandler LA 
channelHandlercontext 之 间 的 关系 


在 代码 清单 6-6 中 ， 将 通过 channelLlHandlercontext 获 取 到 Channe1 的 纪 
用 。 调 用 ChanneL 上 的 write() 方 法 将 会 导致 写 入 事件 从 尾 端 到 头 部 地 流 经 


ChannelPipeline. 


代码 清单 6-6 从 channelHandlercontext 访 问 channel 


ChannelHandlerContext ctx = ..; 

Channel channel = ctx.channel(); =- -- 获取 到 与 
ChannelHandlercontext 相 关联 的 Channel 的 引用 
channel.write(Unpooled.copiedBuffer("Netty in Action", - -- 通 


过 Channel SARK 
CharsetUtil.UTF_8) ); 


代码 清单 6-7 展 示 了 一 个 类 似 的 例子 ， 但 是 这 一 次 是 写 
AChannelPipeline. 我 们 再 次 看 到 ， (到 channelPipline 的 ) 引用 是 通 
过 channelHandlercontext 获 取 的 。 








代码 清单 6-7 通过 channelHandlercontext 访 问 channelPipeline 


ChannelHandlerContext ctx = ..; 

ChannelPipeline pipeline = ctx.pipeline(); =- -- 获取 到 与 
ChannelHandlercontext 相 关联 的 ChannelPipeline 的 引用 
pipeline.write(Unpooled.copiedBuffer("Netty in Action", - - 


- ”通过 ChannelPipeline 写 入 缓冲 区 
CharsetUtil.UTF_8)); 


如 同 在 图 6-5 中 所 能 够 看 到 的 一 样 ， 代 码 清单 6-6 和 代码 清 蛙 6-7 中 的 
事件 流 是 一 样 的 。 重 要 的 是 要 注意 到 ， 虽 然 被 调用 的 channe1 或 
channelPipeline 上 的 write() 方 法 将 一 直 传 播 事 件 通过 整 
个 channelPipeline， 但 是 在 channelHandler 的 级 别 上 ， 事 件 从 一 
个 channelHandler 到 下 一 个 channelHandler 的 移动 是 
由 channelHandlercontext 上 的 调用 完成 的 。 





O 通过 使 用 与 之 相关 联 的 ChannelHandlerContext，。 个 通 过 使 用 与 之 相关 联 的 ChannelHandlerContext， 
ChannelHandler 将 事件 传递 给 了 ChannelPipelne ChannelHandlerit $ Ht 7 ChannelPipeline 
中 的 下 一 个 ChannelHandler 中 的 下 一 个 ChannelHandler 


| 





ChannelPipeline 





ChannelHandler ChannelHandler 


















ChannelHandlerContext 


O ERER 7 ChannelPipeline 
中 的 第 一 个 ChannelHandler 


图 6-5 ”通过 channel 或 者 channelPipeline 进 行 的 事件 传播 
为 什么 会 想 要 从 channelPipeline 中 的 某 个 特定 点 开始 传播 事件 呢 ? 


° Se eet 它 不 感 兴 趣 的 channelHandler 所 带 来 的 开 
9 为 了 避免 将 事件 传经 那些 可 bE 会 对 它 感 兴 趣 的 channelHandler。 


要 想 调用 从 某 个 特定 的 channelHandler 开 始 的 处 理 过 程 ， 必 须 获 取 
到 在 (Channel- Pipeline ) 该 channelHandler 之 前 的 channelHandler 所 
关联 的 channelHandler- Context。 这 个 channelHandlercontext 将 调用 和 
它 所 关联 的 channelHandler 之 后 的 channelHandler。 


代码 清单 6-8 和 图 6-6 说 明了 这 种 用 法 。 
代码 清单 6-8 ”调用 channelHandlercontext 的 write() 方 法 


ChannelHandlerContext ctx = a -< -- 获取 到 

channelLHandlerCcontext 的 引用 

ctx.write(Unpooled.copiedBuffer("Netty in Action", CharsetUtil.UT 
=- -- ”Write() 方 法 将 把 缓冲 区 数据 发 送 到 下 一 个 channelHandler 


如 图 6-6 所 示 ， 消 恩 将 从 下 一 个 channelHandler 开 始 流 经 
ChannelPipeline, 绕 过 了 所 有 前 面 的 channelHandler。 





人 事件 被 传递 给 了 下 一 个 


ChannelHandler 







Channel Pipeline 


ChannelHandler ChannelHandler ChannelHandler 











() 
ChannelHandlerContext H ChannelHandlerContext 
A 


dh ChannelHandlerContext 一 全 这 是 最 后 一 个 ChannelHandler， 所 以 
的 方法 被 调用 事件 从 ChannelPipelne 移 出 了 


图 6-6 ”通过 channelHandlercontext 触 发 的 操作 的 事件 流 
我 们 刚才 所 描述 的 用 例 是 常见 的 ， 对 于 调用 特定 的 channelHandler 


实例 上 的 操作 尤其 有 用 。 
6.3.2 ”ChannelHandler 和 ChannelHandlerContext 的 高 级 用 法 


正如 我 们 在 代码 清单 6-6 中 所 看 到 的 ， 你 可 以 通过 调 
用 channelHandlercontext 上 的 pipeline() 方 法 来 获得 被 封闭 的 
channelPipeline 的 引用 。 这 使 得 运行 时 得 以 操作 channelPipeline 的 
channelHandler， 我 们 可 以 利用 这 一 点 来 实现 一 些 复杂 的 设计 。 例 如 ， 
你 可 以 通过 将 channelHandler 添 加 到 channelPipeline 中 来 实现 动态 的 协 
议 切换 。 


为 一 ee 缓存 至 lchannelHandlercontext 的 引用 以 供 稍 后 
使 用 ， 可 能 会 及 生 在 任何 的 channelHandler 方 法 之 外 ， 其 至 来 自 于 不 
同 的 线程， 代码 清单 6-9 展 示 了 用 这 种 模式 来 触发 事件 。 


代码 清单 6-9 缓存 到 channelHandlercontext 的 引用 


public class WriteHandler extends ChannelHandlerAdapter { 
private ChannelHandlerContext ctx; 








@Override 
public void handlerAdded(ChannelHandlerContext ctx) { 
this.ctx = ctx; =- -- 存储 到 channelHandlercontext 的 引用 以 供 
稍 后 使 用 
} 
public void send(String msg) { a - 使 用 之 前 存储 的 到 


channelHandlerCcontext 的 引用 来 发 送 消 息 
ctx.writeAndFlush(msg); 


} 
} 


因为 一 个 channelHandler 可 以 从 属于 多 个 channelPipeline， 所 以 它 
也 可 以 绑 定 到 多 个 channelHandlercontext 实 例 。 对 于 这 种 用 法 指 在 多 
个 channelPipeline 中 共 t= [a] — I~ChannelHandler, 对 应 的 
channelHandler 必 须要 使 用 @sharable 注 解 标 注 ; 否则 ， 试 图 将 它 添加 到 
多 个 channelPipeline 时 将 会 AACE o 显而易见 ， 为 了 安全 地 被 用 于 多 
个 并 发 的 channel〈 即 连接 ) ， 这 样 的 channelHandler 必 须 是 线程 安全 
的 。 


代码 清单 6-10 展 示 了 这 种 模式 的 一 个 正确 实现 。 


代码 清单 6-10 ”可 共享 的 ChannelHandler 





@Sharable 
public class SharableHandler extends ChannelInboundHandlerAdapter 
- ”使 用 注解 @Sharable 标 注 

@Override 


public void channelRead(ChannelHandlerContext ctx, Object msg) { 





System.out.printin("Channel read message: " + msg); 
ctx. fireChannelRead(msg) ; - -- 记录 方法 调用 ， 并 转发 给 下 一 个 
ChannelHandler 


J 
J 


前 面 的 channelHandler 实 现 符合 所 有 的 将 其 加 入 到 多 
个 channelPipeline 的 需求 ， 即 它 使 用 了 注解 6sharable 标 注 ， 并 且 也 不 
持 有 任何 的 状态 。 相 反 ， 代 码 清单 6-11 中 的 实现 将 会 导致 问题 。 
代码 清单 6-11 6@sharable 的 错误 用 法 
@Sharable - -- 使 用 注解 @Sharable 标 注 
public class UnsharableHandler extends ChannelInboundHandlerAdapt 
private int count; 


@Override 


public void channelRead(ChannelHandlerContext ctx, Object msg) { 





count++; ~ -- count 字段 的 值 加 1 
System.out.println("channelRead(...) called the " 
+ count + " time"); - -- ”记录 方法 调用 ， 并 转发 给 下 一 个 
ChannelHandler 


ctx.fireChannelRead(msg); 


} 





这 段 代 码 的 问题 在 于 它 拥有 状态 岛 ， 即 用 于 跟踪 方法 调用 次 数 的 实 
例 变量 count。 将 这 个 类 的 一 个 实例 添加 到 channelPipeline 将 极 有 可 能 
在 它 被 多 个 并 发 的 channel 访 问 时 导致 问题 。 (当然 ， 这 个 简单 的 问题 
可 以 通过 使 channelRead() 方 法 变 为 同步 方法 来 修正 。) 


总 之 ， 只 应 该 在 确定 了 你 的 channelHandler 是 线程 安全 的 时 才 使 
用 @sharable 注 解 。 








为 何 要 共享 同一 个 channelHandler 在 多 个 channelPipeline 中 安装 同一 
个 channelHandler 的 一 个 常见 的 原因 是 用 于 收集 跨越 多 个 channel 的 统计 信 


Iùro 




















我 们 对 于 channelHandlercontext 和 它 与 其 他 的 框架 组 件 之 间 的 关系 
的 讨论 到 此 就 结束 了 。 接 下 来 我 们 将 看 看 异 名 处 理 。 


6.4 F Ah 


异 第 处 理 是 任何 真实 应 用 程序 的 重要 组 成 部 分 ， 它 也 可 以 通过 多 种 
方式 来 实现 。 因 此 ，Netty 提 供 了 几 种 方式 用 于 处 理 入 站 或 者 出 站 处 理 
E 这 一 市 将 帮助 你 了 解 如 何 设计 最 适合 你 需要 的 方 
工 No 


6.4.1 处理 入 站 异常 


如 果 在 处 理 入 站 事件 的 过 程 中 有 异常 被 抛 出， 那么 它 将 从 它 
在 channelInboundHandler 里 被 触发 的 那 一 点 开始 流 经 
channelPipeline。 要 想 人 处理 这 种 类 型 的 入 站 异常 ， 你 需要 在 你 的 
channelInboundHandler 实 现 中 重 写 下 面 的 方法 。 














public void exceptionCaught ( 
ChannelHandlerContext ctx, Throwable cause) throws Exception 


代码 清单 6-12 展 示 了 一 个 简单 的 示例 ， 其 关闭 了 channel 并 打印 了 异 
常 的 栈 跟 踪 信 息 。 


代码 清单 6-12 基本 的 入 站 异常 处 理 


public class InboundExceptionHandler extends ChannelInboundHandle 
@Override 
public void exceptionCaught(ChannelHandlerContext ctx, 
Throwable cause) { 
Ccause.printStackTrace(); 
ctx.close(); 





AVA Fe aS Ge REAR A Te Ot RATA ES A i SE 
RE) ， 所 以 实现 了 前 面 所 示 逻 辑 的 channeLInboundHandler 通 常 位 于 
channelPipeline 的 最 后 。 这 确保 了 所 有 的 入 站 异常 都 总 是 会 被 处 理 ， 无 
论 它们 可 能 会 发 生 在 channelPipeline 中 的 什么 位 置 。 








你 应 该 如 何 响应 异常 ， 可 能 很 大 程度 上 取决 于 你 的 应 用 程序 。 你 可 
能 想 要 关闭 channel (和 连接 ) ， 也 可 能 会 尝试 进行 恢复 。 如 果 你 不 实 
现任 何 处 理 入 站 异常 的 逻辑 〈 或 者 没有 消费 该 异常 ) ， 那 么 Netty 将 会 
记录 该 异常 没有 被 处 理 的 事实 加。 


40» =H 





e ChannelHandler ,exceptioncaught() 的 默认 实现 是 简单 地 将 当前 异 
和 常 转发 给 channelPipeline 中 的 下 一 I~ChannelHandler; 

° URE T BTA 了 channelPipeline 的 尾 端 ， 它 将 会 被 记录 为 未 被 处 
FE, 

。 要 想 定义 自 定 义 的 处 理 逻 辑 ， 你 需要 重 写 exceptioncaught() 方 法 。 
然后 你 需要 决定 是 否 需 要 将 该 异常 传播 出 去 。 


6.4.2 ”处 理 出 站 异常 


m ee ee ee 
HHL. 


。 每 个 出 站 操作 都 将 返回 一 个 channelFuture。 注 册 到 channelFuture 
的 channel- FutureListener 将 在 操作 完成 时 被 通知 该 操作 是 成 功 了 
还 是 出 错 了 。 

e 几乎 所 有 的 channeloutboundHandler 上 的 方法 都 会 传 入 一 
个 channelPromise 的 实例 。 作 为 channelFuture 的 子 
类 ，channelPromise 也 可 以 被 分 配 用 于 异步 通知 的 监听 器 。 但 
是 ，channelPromise 还 具有 提供 立即 通知 的 可 写 方法 : 





ChannelPromise setSuccess(); 
ChannelPromise setFailure(Throwable cause); 


添加 channelFutureListener 只 需要 调用 channelFuture 实 例 上 的 
addListener(ChannelFutureListener) Wik, 并 且 有 两 种 不 同 的 方式 可 
以 做 到 这 一 点 。 其 中 最 常用 的 方式 是 ， 调 用 出 站 操作 《如 write() 方 
法 ) 所 返回 的 channelFuture 上 的 addListener() 方 法 。 


代码 清单 6-13 使 用 了 这 种 方式 来 添加 channelFutureListener， 它 将 
打印 栈 跟 踪 信 息 并 且 随 后 关闭 channel。 














代码 清单 6-13 ”添加 channelFutureListener 到 channeLFuture 


ChannelFuture future = channel.write(someMessage) ) 
future.addListener(new ChannelFutureListener() { 
@Override 
public void operationComplete(ChannelFuture f) { 
if (!f.isSuccess()) { 
f.cause().printStackTrace(); 
f.channel().close(); 


} 
H; 


第 二 种 方式 是 将 channelFutureListener 添 加 到 即将 作为 参数 传递 给 
channelOut- boundHandler 的 方法 的 channelPromise。 代码 清单 6-14 中 所 
展示 的 代码 和 代码 清单 6-13 中 所 展示 的 具有 相同 的 效果 。 


代码 清单 6-14 ”添加 channelFutureListener 到 channelPromise 


public class OutboundExceptionHandler extends ChannelOutboundHand 
@Override 
public void write(ChannelHandlerContext ctx, Object msg, 
ChannelPromise promise) { 
promise.addListener(new ChannelFutureListener() { 
@Override 
public void operationComplete(ChannelFuture f) { 
if (!f.isSuccess()) { 
f.cause().printStackTrace(); 
f.channel().close(); 


J); 
} 
ChannelPromise 的 可 写 方法 


通过 调用 channelPromise 上 的 setsuccess() 和 setFailure() 方 
法 ， 可 以 使 一 个 操作 的 状态 在 channelHandler 的 方法 返回 给 其 调用 
者 时 便 即 刻 被 感知 到 。 


为 何 选择 一 种 方式 而 不 是 男 一 种 呢 ? 对 于 细致 的 异常 处 理 ， 你 可 


会 发 现 ， 在 调用 出 站 操作 时 添加 channelFutureListener 更 合适 ， 如 代码 
清单 6-13 所 示 。 而 对 于 一 般 的 异常 处 理 ， 你 可 能 会 发 现 ， 代 人 码 清 单 6-14 
所 示 的 自 定义 的 channeloutboundHandler 实 现 的 方式 更 加 的 简单 。 


如 果 你 的 channeloutboundHandler 本 里 抛 出 了 异常 会 发 生 什 么 呢 ? 
在 这 种 情况 下 ，Netty 本 里 会 通知 任何 己 经 注册 到 对 应 channelPromise 的 
监听 器 。 


G5 JZ 


在 本 章 中 我 们 仔细 地 研究 了 Netty 的 数据 处 理 组 件 
一 一 channelHandler。 我 们 讨论 了 channelHandler 是 如 何 链接 在 一 起 ， 
以 及 它们 是 如 何 作为 channelLInboundHandler 和 channeLoutboundHandler 
与 ChannelLlPipeline 进 行 交 互 的 。 


下 一 章 将 介绍 Netty 的 EventLoop 和 并 发 模型 ， 这 对 于 理解 Netty 是 如 
何 实现 异 步 的 、 事 件 驱 动 的 网 络 编程 模型 来 说 至 关 重 要 。 





[1] 当 所 有 可 读 的 字 节 都 已 经 从 channel 中 读 取 之 后 ， 将 会 调用 该 回调 方 
法 ; 所 以 ， 可 能 在 channelRead- complete( ) 被 调用 之 前 看 到 多 次 调 
用 channelRead(...)。 译 者 注 





[2] 这 里 借鉴 的 是 Scala 的 Promise 和 Future 的 设计 ， 当 一 个 Promise 被 完成 








之 后 ， 其 对 应 的 Future 的 值 便 不 能 再 进行 任何 修改 了 。 译 者 注 
[3] 其 利用 了 JDK 提 供 的 PhantomReference 类 来 实现 这 一 点 。 一 一 译 者 注 
[4] 这 里 指 修改 channelPipeline 中 的 channelHandler 的 编排 。 一 一 译 者 


1 


[5] 通过 配合 channelconfig.setAutoRead(boolean autoRead) 方 法 ， 可 以 
实现 反应 式 系统 的 特性 之 一 回 压 〈back-pressure) 。 RAIE 


[6] 主要 的 问题 在 于 ， 对 于 其 所 持 有 的 状态 的 修改 并 不 是 线程 安全 的 ， 
比如 也 可 以 通过 使 用 AtomicInteger 来 规避 这 个 问题 。 一 一 译 者 注 


IKA 即 Netty 将 会 通过 Warmning 级 别 的 日 志 记录 该 异常 到 达 了 











EA 
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7% ”EventLoop 和 线程 模型 


本 章 主要 内 容 


。 线程 模型 概述 

。 事件 循环 的 概念 和 实现 
。 任务 调度 

。 实现 细 市 


简单 地 说 ， 线 程 模 型 指定 了 操作 系统 、 编 程 语言 、 框 染 或 者 应 用 程 
序 的 上 下 文中 的 线程 管理 的 关键 方面 。 显 而 易 见 地 ， 如 何以 及 何 时 创建 
线程 将 对 应 用 程序 代码 的 执行 产生 显著 的 影响 ， 因 此 开发 人 员 需 要 理解 
与 不 同 模 型 相关 的 权衡 。 无 论 是 他 们 自己 选择 模型 ， 还 是 通过 采用 茶 种 
编程 语言 或 者 框架 隐 式 地 获得 它 ， 这 都 是 真实 的 。 


在 本 章 中 ， 我 们 将 详细 地 探讨 Netty 的 线程 模型 。 它 强大 但 又 易 
用 ， 并 且 和 Netty 的 一 贯 宗旨 一 样 ， 旨 在 简化 你 的 应 用 程序 代码 ， 同 时 
o A see 
JAR. 


如 果 你 对 Java 的 并 发 API (java.util.concurrent) 有 比较 好 的 理 
解 ， 那 么 你 应 该 会 发 现在 本 章 中 的 讨论 都 是 直截了当 的 。 如 果 这 些 概念 
对 你 来 说 还 比较 陌生 ， 或 者 你 需要 更 新 自己 的 相关 知识 ， 那 么 由 Brian 
Goetz 等 编写 的 《Java 并 发 编程 实战 》 (Addison-Wesley Professional, 
2006) 这 本 书 将 是 极 好 的 资源 。 


7.1 线程 模型 概述 

















在 这 一 节 中 ， 我 们 将 介绍 常见 的 线程 模型 ， 随 后 将 继续 讨论 Netty 
过 去 以 及 当前 的 线程 模型 ， 并 评审 它们 各 目的 优点 以 及 局 限 性 。 


正如 我 们 在 本 章 开 头 所 指出 的 ， 线 程 模型 确定 了 代码 的 执行 方式 。 
由 于 我 们 总 是 必须 规避 并 发 执行 可 能 会 带 来 的 副作用 ， 所 以 理解 所 采用 
的 并 发 模型 《也 有 单线 程 的 线程 模型 ) 的 影 啊 很 重要 。 忽 略 这 些 问 题 ， 
(不 会 引发 并 发 问题 ) 无 疑 是 财 博 一 一 赔 率 必 然 
会 击败 你 。 


因为 具有 多 核心 或 多 个 CPU 的 计算 机 现在 已 经 司空 见 惯 ， 大 多 数 的 
现代 应 用 程序 都 利用 了 复杂 的 多 线程 处 理 技术 以 有 效 地 利用 系统 资源 。 
相 比 之 下 ， 在 早期 的 Java 语 言 中 ， 我 们 使 用 多 线程 处 理 的 主要 方式 无 非 
是 按 需 创建 和 启动 新 的 Thread 来 执行 并 发 的 任务 单元 一 一 一 种 在 高 负载 
下 工作 得 很 差 的 原始 方式 。Java 5 随后 引入 了 ExecutorAPI， 其 线程 池 通 
过 缓存 和 重用 Thread 极 大 地 提高 了 性 能 。 


基本 的 线程 池 化 模式 可 以 描述 为 : 




















。 从 池 的 空间 线程 列表 中 选择 一 个 Thread， 并 且 指 派 它 去 运行 一 个 已 
提交 的 任务 (一 个 Runnable 的 实现 ) ; 
© 当 任 务 完成 时 ， 将 该 Thread 返 回 给 该 列表 ， 使 其 可 被 重用 。 


图 7-1 说 明了 这 个 模式 。 
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图 7-1 Executor 的 执行 逻辑 


虽然 池 化 和 重用 线程 相对 于 简单 地 为 每 个 任务 都 创建 和 销毁 线程 是 
一 种 进步 ， 但 是 它 并 不 能 消除 由 上 下 文 切换 所 市 来 的 开销 ， 其 将 随 看 线 
程 数 量 的 增加 很 快 变 得 明显 ， 并 且 在 高 负载 下 愈演愈烈 。 此 外 ， 仅 仅 由 
于 应 用 程序 的 整体 复杂 性 或 者 并 发 需求 ， 在 项 目的 生命 周期 内 也 可 能 会 
出 现 其 他 和 线程 相关 的 问题 。 


简 而 言 之 ， 多 线程 处 理 是 很 复杂 的 。 在 接 下 来 的 章节 中 ， 我 们 将 会 
看 到 Netty 是 如 何 帮 助 简化 它 的 。 


7.2 ”EventLoop 接 口 








运行 任务 来 处 理 在 连接 的 生命 周期 内 发 生 的 事件 是 任何 网 络 框架 的 
基本 功能 。 与 之 相应 的 编程 上 的 构造 通常 被 称 为 事件 循环 一 一 一 个 
Netty 使 用 了 interface io.netty.channel. EventLoop 来 适 配 的 术语 。 


代码 清单 7-1 中 说 明了 事件 循环 的 基本 思想 ， 其 中 每 个 任务 都 是 一 
个 Runnable 的 实例 〈 如 图 7-1 所 示 ) 。 


代码 清单 7-1 在 事件 循环 中 执行 任务 


while (!terminated) { 

List<Runnable> readyEvents = blockUntilEventsReady(); =- -- MH 
塞 ， 直 到 有 事件 已 经 就 绪 可 被 运行 

for (Runnable ev: readyEvents) { 


ev.run(); ~ -- 循环 遍历 ， 并 处 理 所 有 的 事件 
} 
































Netty 的 EventLoop 是 协同 设计 的 一 部 分 ， 它 采用 了 两 个 基本 的 API: 
并 发 和 网 络 编程 。 首 先 ，io.netty,.util.concurrent 包 构建 在 JDK 的 
java.util.concurrent 包 上 ， 用 来 提供 线程 执行 器 。 其 
次 ，io.netty.channel 包 中 的 类 ， 为 了 与 channel 的 事件 进行 交互 ， 扩 展 
了 这 些 接口 /类 。 图 7-2 展 示 了 生成 的 类 层次 结构 。 
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图 7-2 EventLoop 的 类 层次 结构 


在 这 个 模型 中 ， 一 个 EventLoop 将 由 一 个 永远 都 不 会 改变 的 Thread 豫 
动 ， 同 时 任务 (Runnable 或 者 callable) 可 以 直接 提交 给 EventLoop 实 
现 ， 以 立即 执行 或 者 调度 执行 。 根据 配置 和 可 用 核心 的 不 同 ， 可 能 会 创 
建 多 个 EventLoop 实 例 用 以 优化 资源 的 使 用 ， 并 且 单 个 EventLoop 可 能 会 
被 指派 用 于 服务 多 个 channel。 


需要 注意 的 是 ，Netty 的 EventLoop 在 继承 了 
ScheduledExecutorSservice 的 同时 ， 只 定义 了 一 个 方法 ，parent () 世 1。 
这 个 方法 ， 如 下 面 的 代码 片断 所 示 ， 用 于 返回 到 当前 EventLoop 实 现 的 
实例 所 属 的 EventLoopGroup 的 引用 。 


public interface EventLoop extends EventExecutor, EventLoopGroup 
@Override 
EventLoopGroup parent(); 
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事件 /任务 的 执行 顺序 ”事件 和 任务 是 以 先进 先 出 〈FIFO) 的 顺序 执行 的 。 
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7.2.1 Netty 4 中 的 VO 和 事件 处 理 


正如 我 们 在 第 6 章 中 所 详细 描述 的 ， 由 WO 操作 触发 的 事件 将 流 经 安 
装 了 一 个 或 者 多 个 channelHandler 的 ChannelPipeline。 传播 这 些 事件 的 
ee Handler 所 拦截 ， 并 且 可 以 按 需 地 处 理事 


事件 的 性 质 通 常 决定 了 它 将 被 如 何 处 理 ;， 它 可 能 将 数据 从 网 络 栈 中 
传递 到 你 的 应 用 程序 中 ， 或 者 进行 逆 同 操作 ， 或 者 执行 一 些 截然 不 同 的 
操作 。 但 是 事件 的 处 理 逻 辑 必须 足够 的 通用 和 灵活 ， 以 处 理 所 有 可 能 的 
用 例 。 因 此 ， 在 Netty 4 中 ， 所 有 的 IO 操作 和 事件 都 由 已 经 被 分 配给 了 
EventLoop 的 那个 Thread 来 处 理 包 。 


这 不 同 于 Netty 3 中 所 使 用 的 模型 。 在 下 一 节 中 ， 我 们 将 讨论 这 个 早 
期 的 模型 以 及 它 补 奏 换 的 原因 。 





7.2.2 Netty 3 中 的 IO 操作 


在 以 前 的 版 本 中 所 使 用 的 线程 模型 只 保证 了 入 站 (之 前 称 为 上 游 ) 
事件 会 在 所 谓 的 VO 线程 (对 应 于 Netty 4 中 的 EventLoop) 中 执行 。 所 有 
的 出 站 下游) 事件 都 由 调用 线程 处 理 ， 其 可 能 是 VO 线程 也 可 能 是 别 
的 线程 。 开 始 看 起 来 这 似乎 是 个 好 主意 ， 但 是 已 经 被 友 现 是 有 问题 的 ， 
因为 需要 在 channelHandler 中 对 出 站 事件 进行 仔细 的 同步 。 简 而 言 之 ， 
不 可 能 保证 多 个 线程 不 会 在 同一 时 刻 尝 试 访问 出 站 事件 。 例 如 ， 如 果 你 
通过 在 不 同 的 线程 中 调用 channel.write( ) 方 法 ， 人 针对 同一 个 channel 同 
时 触发 出 站 的 事件 ， 就 会 发 生 这 种 情况 。 


当 出 站 事件 触发 了 入 站 事件 时 ， 将 会 导致 另 一 个 负面 影响 。 
当 channel.write() 方 法 导致 异常 时 ， 需 要 生成 并 触发 一 
个 exceptioncaught 事 件 。 但 是 在 Netty 3 的 模型 中 ， 由 于 这 是 一 个 入 站 事 
件 ， 需 要 在 调用 线程 中 执行 代码 ， 然 后 将 事件 移交 给 IO 线程 去 执行 ， 
然而 这 将 带 来 额外 的 上 下 文 切 换 。 


Netty 4 中 所 采用 的 线程 模型 ， 通 过 在 同一 个 线程 中 处 理 某 个 给 定 的 
EventLoop 中 所 产生 的 所 有 事件 ， 解 决 了 这 个 问题 。 这 提供 了 一 个 更 加 
简单 的 执行 体系 架构 ， 并 且 消 除了 在 多 个 channelHandler 中 进行 同步 的 
需要 《除了 任何 可 能 需要 在 多 个 channe1 中 共享 的 ) 。 


现在 ， 已 经 理解 了 EventLoop 的 角色 ， 让 我 们 来 看 看 任务 是 如 何 被 
调度 执行 的 吧 。 


7.3 ”任务 调度 




















偶尔 ， 你 将 需要 调度 一 个 任务 以 便 稍 后 《延迟 ) 执行 或 者 周期 性 地 
执行 。 例 如 ， 你 可 能 想 要 注册 一 个 在 客户 端 已 经 连接 了 5 分 钟 之 后 触发 
的 任务 。 一 个 常见 的 用 例 是 ， 发 送 心跳 消息 到 远程 节点 ， 以 检查 连接 是 
否 仍然 还 活着 。 如 果 没 有 响应 ， 你 便 知 道 可 以 关闭 该 channeL 了 。 

在 接 下 来 的 几 节 中 ， 我 们 将 展示 如 何 使 用 核心 的 Java API 和 Netty 的 
EventLoop 来 调度 任务 。 然 后 ， 我 们 将 研究 Netty 的 内 部 实现 ， 并 讨论 它 
的 优点 和 局 限 性 。 


7.3.1 JDK 的 任务 调度 API 


在 Java 5 之 前 ， 任 务 调度 是 创建 在 java.util.Timer 类 之 上 的 ， 其 使 
用 了 一 个 后 台 Thread， 并 且 具 有 与 标准 线程 相同 的 限制 。 随 后 ，JDK 提 
供 了 java.util.concurrent 包 ， 它 定 义 了 interface 
ScheduledExecutorSservice。 表 7-1 展 示 了 
java.util.concurrent.Executors 的 相关 工 三 方法。 


表 7-1 java.util.concurrent .Executors 类 的 工厂 方法 








newScheduledThreadPool( fil] 建 一 个 ScheduledThreadExecutorService, 用 于 调 度 命令 在 指定 延迟 之 后 运行 


hoe po Se) LF 期 性 地 执行 。 它 使 用 corepoo1size 参 数 来 计算 线程 数 


newScheduledThreadPool( 
int corePoolSize, 
ThreadFactorythreadFactory) 




















newSingleThreadScheduledExecutor ( ) 9 在 指定 延迟 之 后 运行 
或 者 周期 性 地 执行 。 它 使 用 一 个 线程 来 执行 被 调度 的 任务 














newSingleThreadScheduledExecutor( 
ThreadFactorythreadFactory) 





虽然 选择 不 是 很 多 镭 ， 但 是 这 些 预 置 的 实现 已 经 足以 应 对 大 多 数 的 
用 例 。 代 码 清单 7-2 展 示 了 如 何 使 用 ScheduledExecutorservice 来 在 60 秒 
的 延迟 之 后 执行 一 个 任务 。 


代码 清单 7-2 ”使 用 ScheduledExecutorservice 调 度 任 务 


ScheduledExecutorService executor = 
Executors.newScheduledThreadPool(10); =- -- 创建 一 个 其 线程 池 具 
#10 个 线程 的 ScheduledExecutorService 








ScheduledFuture<?> future = executor.schedule( 








new Runnable() { - -- 创建 一 个 R unnable， 以 供 调 度 稍 后 执行 

@Override 

public void run() { 

o System.out.println("60 seconds later"); =- -- 该 任务 要 打印 
的 消息 


} 
}, 60, TimeUnit.SECONDS); ~ -- 调度 任务 在 从 现在 开始 的 69 秒 之 后 执行 


executor.shutdown(); & se 一 旦 调度 任务 执行 完成 ， 就 关闭 


ScheduledExecutorService 以 释放 资源 





虽然 scheduledExecutorserviceAPI 是 直截了当 的 ， 但 是 在 高 负载 下 
它 将 带 来 性 能 上 的 负担 。 在 下 一 节 中 ， 我 们 将 看 到 Netty 是 如 何以 更 高 
的 效率 提供 相同 的 功能 的 。 


7.3.2 ”使 用 EventLoop 调 度 任 务 


ScheduledExecutorservice 的 实现 具有 局 限 性 ， 人 例如， 事实 上 作为 
线程 池 管 理 的 一 部 分 ， 将 会 有 额外 的 线程 创建 。 如 果 有 大 量 任务 被 紧凑 
地 调度 ， 那 么 这 将 成 为 一 个 瓶颈 。Netty 通 过 channe1 的 EventLoop 实 现任 
务 调 度 解决 了 这 一 问题 ， 如 代码 清单 7-3 所 示 。 


代码 清单 7-3 ”使 用 EventLoop 调 度 任 务 


Channel ch = ... 
ScheduledFuture<?> future = ch.eventLoop().schedule( =- -- 创建 一 
个 Runnable 以 供 调度 稍 后 执行 
new Runnable() { 
@Override 
public void run() { ~ -- 要 执行 的 代码 
System.out.println("60 seconds later"); 

















} 
}, 60, TimeUnit.SECONDS); ~ -- 调度 任务 在 从 现在 开始 的 66 秒 之 后 执行 
经 过 60 秒 之 后 ， Runnable 实 例 将 由 分 配给 channel 的 EventLoop 执 
行 。 如 果 要 调度 任务 以 每 隔 60 秒 执行 一 次 ， 请 使 
用 scheduleAtFixedRate() 方 法 ， 如 代码 清单 7-4 所 示 。 


代码 清单 7-4 使 用 EventLoop 调 度 周 期 性 的 任务 





Channel ch = ... 
ScheduledFuture<? 
> future = ch.eventLoop().scheduleAtFixedRate( - -- 创建 一 个 














Runnable， 以 供 调度 稍 后 执行 
new Runnable() { 
@Override 
public void run() { 
System.out.println("Run every 60 seconds"); - -- 这 将 一 直 
运行 ， 直 到 ScheduledFuture 被 取消 


} 
}, 60, 60, TimeUnit.Seconds); - -- 调度 在 60 秒 之 后 ， 并 且 以 后 每 间隔 
60 秒 运 行 





如 我 们 前 面 所 提 到 的 ，Netty 的 EventLoop 扩 展 了 
ScheduledExecutorService 〈 见 图 7-2) ， 所 以 它 提 供 了 使 用 JDK 实 现 可 
用 的 所 有 方法 ， 包 括 在 前 面 的 示例 中 使 用 到 的 schedule() 和 
scheduleAtFixedRate() 方 法 。 所 有 操作 的 完整 列表 可 以 
在 ScheduledExecutorservice 的 Javadoc 中 找到 蒜 。 


要 想 取 消 或 者 检查 〈 被 调度 任务 的 ) 执行 状态 ， 可 以 使 用 每 个 异步 
回 的 Scheduled- Future。 代码 清单 7-5 展 示 了 一 个 简单 的 取消 
BR TE o 


代码 清单 7-5 “使 用 ScheduledFuture 取 消 任务 


ScheduledFuture<? 

> future = ch.eventLoop().scheduleAtFixedRate(...); =- -- 调度 任 
务 ， 并 获得 所 返回 的 ScheduledFuture 

// Some other code that runs... 

boolean mayInterruptIfRunning = false; 
future.cancel(mayInterruptIfRunning); =- -- 取消 该 任务 ， 防 止 它 再 次 
运行 





这 些 例子 说 明 ， 可 以 利用 Netty 的 任务 调度 功能 来 获得 性 能 上 的 提 


升 。 反 过 来 ， 这 些 也 依赖 于 底层 的 线程 模型 ， 我 们 接 下 来 将 对 其 进行 研 
Fo 


7.4 实现 细节 

这 一 节 将 更 加 详细 地 探讨 Netty 的 线程 模型 和 任务 调度 实现 的 主要 
我 们 也 将 会 提 到 需要 注意 的 局 限 性 ， 以 及 正在 不 断 发 展 中 的 领 
7.4.1 ”线程 管理 

Netty 线 程 模型 的 日 越 性 能 取决 于 对 于 当前 执行 的 Thread 的 里 份 的 确 
定 印 ， 也 就 是 说 ， 确 定 它 是 否 是 分 配给 当前 channe1 以 及 它 的 EventLoop 
的 那 一 个 线程 。 回想 一 下 EventLoop 将 负责 处 理 一 个 channel 的 整个 生 
命 周 期 内 的 所 有 事件 。) 


如 果 《〈 当 前 ) 调用 线程 正 是 支撑 EventLoop 的 线程 ， 那 么 所 提交 的 





代码 块 将 会 被 (直接 ) 执行 。 否 则 ，EventLoop 将 调度 该 任务 以 便 稍 后 
执行 ， 并 将 它 放 入 到 内 部 队列 中 。 当 EventLoop 下 次 处 理 它 的 事件 时 ， 
它 会 执行 队列 中 的 那些 任务 /事件 。 这 也 就 解释 了 任何 的 Thread 是 如 何 
与 channel 直 接 交 互 而 无 需 在 channelHandler 中 进行 额外 同步 的 。 


注意 ， 每 个 EventLoop 都 有 它 自己 的 任务 队列 ， 独 立 于 任何 其 他 的 
EventLoop。 图 7-3 展 示 了 EventLoop 用 于 调度 任务 的 执行 逻辑 。 这 是 Netty 
线程 模型 的 关键 组 成 部 分 。 











Channel eventLoop() execute Task) 


图 7-3 EventLoop 的 执行 逻辑 


我 们 之 前 已 经 前 明了 不 要 阻塞 当前 MO 线程 的 重要 性 。 我 们 再 以 另 
一 种 方式 重申 一 次 :“ 永 远 不 要 将 一 个 长 时 间 运 行 的 任务 放 入 到 执行 队 
列 中 ， 因 为 它 将 阻塞 需要 在 同一 线程 上 执行 的 任何 其 他 任务 。” 如 果 必 
须要 进行 阻塞 调用 或 者 执行 长 时 间 运 行 的 任务 ， 我 们 建议 使 用 一 个 专门 
的 EventExecutor。 ( 见 6.2.1 节 的 “channelHandler 的 执行 和 阻塞 *) 。 


除了 这 种 受 限 的 场景 ， 如 同 传输 所 采用 的 不 同 的 事件 处 理 实现 一 
样 ， 所 使 用 的 线程 模型 也 可 以 强烈 地 影响 到 排队 的 任务 对 整体 系统 性 能 
的 影响 。《 如 同 我 们 在 第 4 章 中 所 看 到 的 ， 使 用 Netty 可 以 轻松 地 切换 到 
不 同 的 传输 实现 ， 而 不 需要 修改 你 的 代码 库 。) 


7.4.2 ”EventLoop/ 线 程 的 分 配 


服务 于 channe1l 的 IO 和 事件 的 EventLoop 包 含 在 EventLoopGroup 中 。 
根据 不 同 的 传输 实现 ，EventLoop 的 创建 和 分 配方 式 也 不 同 。 


1. 异步 传输 


异步 传输 实现 只 使 用 了 少量 的 EventLoop 〈 以 及 和 它们 相关 联 的 
Thread) ， 而 且 在 当前 的 线程 模型 中 ， 它 们 可 能 会 被 多 个 channel 所 共 
享 。 这 使 得 可 以 通过 尽 可 能 少量 的 Thread 来 支撑 大 量 的 channel1， 而 不 
是 每 个 channel 分 配 一 个 Thread。 

















图 7-4 显 示 了 一 个 EventLoopGroup， 它 具有 3 个 固定 大 小 的 
EventLoop 〈 每 个 EventLoop 都 由 一 个 Thread 文 撑 ) 。 在 创建 
EventLoopGroup 时 就 直接 分 配 了 EventLoop 〈 以 及 文 撑 它 们 的 Thread) ， 
以 确保 在 需要 时 它们 是 可 用 的 。 
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图 7-4 用 于 非 阻塞 传输 〈 如 NIO 和 AIO) 的 EventLoop 分 配方 式 


EventLoopGroup 负 责 为 每 个 新 创建 的 channe1 分 配 一 个 EventLoop。 
在 当前 实现 中 ， 使 用 顺序 循环 (round-robin) 的 方式 进行 分 配 以 获取 一 
个 均衡 的 分 布 ， 并 且 相 同 的 EventLoop 可 能 会 被 分 配给 多 个 channel。 
(这 一 点 在 将 来 的 版 本 中 可 能 会 改变 。) 


一 旦 一 个 channel 被 分 配给 一 个 EventLoop， 它 将 在 它 的 整个 生命 周 
期 中 都 使 用 这 个 EventLoop〈 以 及 相关 联 的 Thread) 。 请 牢记 这 一 点 ， 
为 它 可 以 使 你 从 担忧 你 的 channe1L- ”Handler 实 现 中 的 线程 安全 和 同步 问 
题 中 解脱 出 来 。 


另外 ， 需 要 注意 的 是 ，EventLoop 的 分 配方 式 对 ThreadLocal 的 使 用 
的 影响 。 因 为 一 个 EventLoop 通 第 会 被 用 于 文 撑 多 个 channel， 所 以 对 于 
所 有 相关 联 的 channel 来 说 ，ThreadLocal 都 将 是 一 样 的 。 这 使 得 它 对 于 
实现 状态 追踪 等 功能 来 说 是 个 糟糕 的 选择 。 然 而 ， 在 一 些 无 状态 的 上 下 
文中 ， 它 仍然 可 以 被 用 于 在 多 个 channel 之 间 共 享 一 些 重度 的 或 者 代价 
昂贵 的 对 象 ， 甚 至 是 事件 。 


2. 阻塞 传输 


CHWIPIO) 这 样 的 其 他 传输 的 设计 略 有 不 同 ， 如 图 
7-5 所 示 。 


这 里 每 一 个 channel 都 将 被 分 配给 一 个 EventLoop 〈 以 及 它 的 
Thread) 。 如 果 你 开发 的 应 用 程序 使 用 过 java.io 包 中 的 阻塞 VO 实 现 ， 
你 可 能 就 遇 到 过 这 种 模型 。 











| 
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图 7-5 ”阻塞 传输 (如 OIO〉 的 EventLoop 分 配方 式 


但 是 ， 正 如 同 之 前 一 样 ， 得 到 的 保证 是 每 个 channel 的 VO 事件 都 将 
只 会 被 一 个 Thread (用 于 支撑 该 channel 的 EventLoop 的 那个 Thread)〉 处 
理 。 这 也 是 另 一 个 Netty 设 计 一 致 性 的 例子 ， 它 《这 种 设计 上 的 一 致 
性 ) 对 Netty 的 可 靠 性 和 易 用 性 做 出 了 巨大 贡献 。 


pls 


在 本 章 中 ， 你 了 解 了 通常 的 线程 模型 ， 并 且 特 别 深入 地 学 习 了 
Netty 所 采用 的 线程 模型 ， 我 们 详细 探讨 了 其 性 能 以 及 一 致 性 。 


你 看 到 了 如 何在 EventLoop (I/O Thread) 中 执行 自己 的 任务 ， 就 如 
同 Netty 框 架 自 喘 一 样 。 你 学 习 了 如 何 调度 任务 以 便 推 壕 执行 ， 并 且 我 
们 还 探讨 了 高 负载 下 的 伸缩 性 问题 。 你 也 看 到 了 如 何 验证 一 个 任务 是 否 
己 被 执行 以 及 如 何 取消 它 。 


通过 我 们 对 Netty 框 架 的 实现 细节 的 研究 所 获得 的 这 些 信 息 ， 将 大 
助 你 在 简化 你 的 应 用 程序 代码 库 的 同时 最 大 限度 地 提高 它 的 性 能 。 关 于 
更 多 一 般 意 义 上 的 有 关 线 程 池 和 并 发 编程 的 详细 信息 ， 我 们 建议 疯 读 由 
Brian Goetz 编 写 的 《Java 并 发 编程 实战 》。 他 的 书 将 会 带 你 更 加 深入 地 
理解 多 线程 处 理 甚至 是 最 复杂 的 多 线程 处 理 用 例 。 


我 们 已 经 到 达 了 一 个 令 人 兴奋 的 时 刻 一 一 在 下 一 章 中 我 们 将 讨论 引 
Ee eae 
过 程 。 








[1] 这 个 方法 重 写 了 EventExecutor 的 EventExecutorGroup parent() Ù 


[2] 这 里 使 用 的 是 “来 处 理 ” 而 不 是 “来 触发 "其 中 写 操作 是 可 以 从 外 部 的 
任意 线程 触发 的 。 一 一 译 者 注 


[3] 由 JDK 提 供 的 这 个 接口 的 唯一 具体 实现 


是 java.util.concurrent,ScheduledThreadPoolExecutor。 


[4] Java 平 台 ， 标 准 版 第 8 版 API 规 范 ，java.util.concurrent， Interface 
ScheduledExecutorService: http://docs.oracle. 
com/javase/8/docs/api/java/util/concurrent/ScheduledExecutorService.html. 


[5] 通过 调用 EventLoop 的 inEventLoop(Thread) 方 法 实现 。 译 者 注 





本 章 主要 内 容 


。 引导 客户 端 和 服务 器 

e 从 channe1 内 引导 客户 端 

e 添加 channelLlHandler 

e 使 用 channeloption 和 属性 凯 


在 深入 地 学 习 了 channelPipeline、 ChannelHandler 和 EventLoop 之 
后 ， 你 接 下 来 的 问题 可 能 是 :“ 如 何 将 这 些 部 分 组 织 起 来 ， 成 为 一 个 可 
实际 运行 的 应 用 程序 呢 ?” 


答案 是 ? “引导 ”(Bootstrapping〉。 到 目前 为 止 ， 我们 对 这 个 术语 
的 使 用 还 比较 含糊 ， 现 在 已 经 到 了 精确 定义 它 的 时 候 了 。 人 简单 来 说 ， 引 
导 一 个 应 用 程序 是 指 对 它 进行 配置 ， 并 使 它 运 行 起 来 的 过 程 一 一 尽管 该 
过 程 的 具体 细节 可 能 并 不 如 它 的 定义 那样 简单 ， 尤 其 是 对 于 一 个 网 络 应 
用 程序 来 说 。 


和 它 对 应 用 程序 体系 架构 的 做 法 馈 一 致 ，Netty 处 理 引 导 的 方式 使 你 
的 应 用 程序 名 和 网 络 层 相隔 离 ， 无 论 它 是 客户 端 还 是 服务 器 。 正 如 同 你 
将 要 看 到 的 ， 所 有 的 框架 组 件 都 将 会 在 后 台 结 合 在 一 起 并 且 局 用 。 引 导 
是 我 们 一 直 以 来 都 在 组 装 的 完整 拼图 由 中 缺失 的 那 一 块 。 当 你 把 它 放 到 
正确 的 位 置 上 时 ， 你 的 Netty 应 用 程序 就 完整 了 。 























8.1 Bootstrap% 





引导 类 的 层次 结构 包括 一 个 抽象 的 父 类 和 两 个 具体 的 引导 子 类 ， 如 
图 8-1 所 示 。 





<<interface>> 
Cloneable 


AbstractBootstrap 











> 
> 






ServerBootstrap 





Bootstrap 


图 8-1 引导 类 的 层次 结构 


相对 于 将 具体 的 引导 类 分 别 看 作用 于 服务 器 和 客户 端的 引导 来 说 ， 
记 住 它们 的 本 意 是 用 来 支撑 不 同 的 应 用 程序 的 功能 的 将 有 所 神 益 。 也 就 
是 说 ， 服 务 器 致力 于 使 用 一 个 父 channel 来 接受 来 自 客户 端的 连接 ， 并 
创建 子 channe1 以 用 于 它们 之 间 的 通信 ， 而 客户 端 将 最 可 能 只 需要 一 个 
单独 的 、 没 有 父 channe1 的 channe1 来 用 于 所 有 的 网 络 交 互 。 〈 正 如同 我 
们 将 要 看 到 的 ， 这 也 适用 于 无 连接 的 传输 协议 ， 如 UDP， 因 为 它们 并 不 
是 每 个 连接 都 需要 一 个 单独 的 channel。) 


我 们 在 前 面 的 几 间 中 学 习 的 几 个 Netty 组 件 都 参与 了 引导 的 过 程 ， 
而 且 其 中 一 些 在 客户 端 和 服务 器 都 有 用 到 。 两 种 应 用 程序 类 型 之 间 通 用 
的 引导 步骤 由 AbstractBootstrap 处 理 ， 而 特定 于 客户 端 或 者 服务 器 的 引 
导 步 又 则 分 别 由 Bootstrap 或 serverBootstrap 处 理 。 


在 本 章 中 接 下 来 的 部 分 ， 我 们 将 详细 地 探讨 这 两 个 类 ， 首 先 从 不 那 


么 复杂 的 Bootstrap 类 开始 。 


为 什么 引导 类 是 Cloneable 的 























你 有 时 可 能 会 需要 创建 多 个 具有 类 似 配 置 或 者 完全 相同 配置 的 
channel。 为 了 支持 这 种 模式 而 又 不 需要 为 每 个 channel 都 创建 并 配 
置 一 个 新 的 引导 类 实例 ，AbstractBootstrap 被 标记 为 了 








cloneable[!51。 在 一 个 已 经 配置 完成 的 引导 类 实例 上 调用 clone() 方 
法 将 返回 男 一 个 可 以 立即 使 用 的 引导 类 实例 。 


注意 ， 这 种 方式 只 会 创建 引导 类 实例 的 EventLoopGroup 的 一 个 
浅 拷贝 ， 所 以 ， 后 者 加 将 在 所 有 克隆 的 channel 实 例 之 间 共 享 。 这 
是 可 以 接受 的 ， 因 为 通常 这 些 均 隆 的 channel 的 生命 周期 都 很 短 
和 暂 ， 一 个 典型 的 场景 是 一 一 创建 一 个 channel 以 进行 一 次 HTTP 请 


AbstractBootstrap 类 的 完整 声明 是 : 


public abstract class AbstractBootstrap 
<B extends AbstractBootstrap<B,C>,C extends Channel> 


在 这 个 签名 中 ， 子 类 型 8 是 其 父 类 型 的 一 个 类 型 参数 ， 因 此 可 以 返 
实例 的 引用 以 文 持 方法 的 链 式 调用 〈 也 就 是 所 谓 的 流 式 语 
TD: 

其 子 类 的 声明 如 下 : 


public class Bootstrap 
extends AbstractBootstrap<Bootstrap, Channel> 


和 


public class ServerBootstrap 
extends AbstractBootstrap<ServerBootstrap, ServerChannel> 


8.2 5] FAP mAT ERN 


Bootstrap 类 被 用 于 客户 端 或 者 使 用 了 无 连接 协议 的 应 用 程序 中 。 
表 8-1 提 供 了 该 类 的 一 个 概览 ， 其 中 许多 方法 都 继承 自 


AbstractBootstrap 类 。 


表 8-1 Bootstrap 类 的 API 





| | 


Bootstrap 设置 用 于 处 理 channel 所 有 事件 的 EventLooperoup 


group(EventLoopGroup) 








Bootstrap channel( channe1() 方 法 指定 了 chamnei 的 实现 类 。 如 果 该 实现 类 没 提 供 默 认 的 构造 函数 口 ， 
Borata extends ©) 用 可 以 通过 调用 samei- Factery() 方 法 来 指定 一 个 工厂 类 ， 它 将 会 被 und0) 方 法 调用 


channelFactory( 


ChannelFactory<? 
lextends C>) 





Bootstrap 指定 onamel 应 该 绑 定 到 的 本 地 地 址 。 如 果 没 有 指定 ， 则 将 由 操作 系统 创建 一 
Rd 个 随机 的 地 址 。 或 者 ， 也 可 以 通过 bingO) 或 者 connect0) 方 法 指定 10calnqdress 



































<T> Bo Liab option( 设置 ChanneloOption» 将 被 应 用 到 每 个 新 创建 的 channel 的 channelconfig o 这 些 选 项 将 
ne ce ee 会 通过 sina0 或 者 comect0 方 法 设置 到 camel， 不 管 哪个 先 被 调用 o 这 个 方法 
T Value) 在 cvanne! 已 经 被 创建 后 再 调用 将 不 会 有 任何 的 效果 。 支 持 的 cvanne1option 取 决 于 


























<T> Bootstrap attr( 指定 新 创建 的 channel 的 属性 值 。 这 些 属性 值 是 通过 bingj) 或 者 connect() 方 法 设置 
autes key, | 到 eane 的 ， 有 具体 取决 于 谁 最 先 被 调用 。 这 个 方法 在 canel 被 创建 后 将 不 会 有 
































任何 的 效果 。 参 见 8.6 市 


Bootstrap 设置 将 被 添加 到 | ChannelPipeline 以 接 收 事 件 通知 isl cnannelHandien 


handler (ChannelHandler ) 


创建 一 个 当前 Bootstrap 的 克隆 ’ 其 具有 和 原始 的 gootstrap 相 同 的 设置 信 A 


Bootstrap 设置 远程 地 址 。 或 者 ， 也 可 以 通过 comect() 方 法 来 指定 它 


remoteAddress( 
SocketAddress) 


























channelFuture 连接 到 远程 节点 并 返回 一 个 channeiruture， 其 将 会 在 连接 操作 完成 后 接收 到 通 


connect() 知 








ChannelFuture bind() 绑 定 加 | 二 其 将 会 在 绑 定 操作 完成 后 接收 到 通知 ， 在 
那 之 后 必 须 调用 channel. connect() 方 法 来 创建 连接 


下 一 节 将 一 步 一 步 地 讲解 客户 端的 引导 过 程 。 我 们 也 将 讨论 在 选择 
可 用 的 组 件 实 现时 保持 兼容 性 的 问题 。 








8.2.1 引导 客户 端 


Bootstrap 类 负责 为 客户 端 和 使 用 无 连接 协议 的 应 用 程序 创建 
channel， 如 图 8-2 所 示 。 


Ó) Boosta bind ASR 
后 创建 一 人 新 的 Channel 在 这 之 后 
AE Rconnect\ tie iste 


bind(.., 
en 
me. 


Ô toome ¢HHEFRG, Boosta 
类 交会 仙 时 一 人 的 Chamna| 


able Channa 

















图 8-2 ”引导 过 程 
代码 清单 8-1 中 的 代码 引导 了 一 个 使 用 NIO TCP 传 输 的 客户 端 。 
代码 清单 8-1 引导 一 个 客户 端 


EventLoopGroup group = new NioEventLoopGroup(); 















































Bootstrap bootstrap = new Bootstrap(); - -- 创建 一 个 Bootstrap 
类 的 实例 以 创建 和 连接 新 的 客户 端 Channe1 
bootstrap.group(group) - -- 设置 EventLoopGroup， 提 供用 于 处 理 
channel 事件 的 EventLoop 
.channel(NioSocketChannel.class) =- -- 指定 要 使 用 的 


Channel 实现 
.handler (new SimpleChannelInboundHandler<ByteBuf>() { © - 
- ”设置 用 于 Channel 事件 和 数据 的 CchannelInboundHandler 
@Override 
protected void channeReadO( 
ChannelHandlerContext channelHandlerContext, 
ByteBuf byteBuf) throws Exception { 
System.out.println("Received data"); 


} 


ChannelFuture future = bootstrap.connect( 
new InetSocketAddress("www.manning.com", 80)); ~ -- 连接 到 远 
程 主机 
future.addListener(new ChannelFutureListener() { 
@Override 
public void operationComplete(ChannelFuture channelFuture) 
throws Exception { 
if (channelFuture.isSuccess()) { 
System.out.printin("Connection established"); 
} else { 
System.err.printin( "Connection attempt failed"); 
channelFuture.cause().printStackTrace(); 








} 
+); 

这 个 示例 使 用 了 前 面 提 到 的 流 式 语 法 ;这 些 方 法 (除了 connect() 
方法 以 外 ) 将 通过 每 次 方法 调用 所 返回 的 对 Bootstrap 实 例 的 引用 链接 
在 一 起 。 


8.2.2 ”Channel 和 EventLoopGroup 的 兼容 性 


代码 清单 8-2 所 示 的 目录 清单 来 自 io.netty.channel 包 。 你 可 以 从 包 
名 以 及 与 其 相对 应 的 类 名 的 前 级 看 到 ， 对 于 NIO 以 及 OIO 传 输 两 者 来 
说 ， 都 有 相关 的 EventLoopGroup 和 Cchanne1 实 现 。 


代码 清单 8-2 ”相互 兼容 的 EventLoopGroup 和 channel 


channel 
nio 
NioEventLoopGroup 
oio 
OioEventLoopGroup 
socket 
nio 
NioDatagramChannel 
NioServerSocketChannel 
NioSocketChannel 
oio 
OioDatagramChannel 
O0ioServerSocketChannel 
OioSocketChannel 


必须 保持 这 种 兼容 性 ， 不 能 混用 具有 不 同 前 级 的 组 件 ， 如 
NioEventLoopGroup 和 0ioSocketchannel。 代码 清单 8-3 展 示 了 试图 这 样 做 
KI—P Bl F 


代码 清单 8-3 不 兼容 的 channel 和 EventLoopGroup 


EventLoopGroup group = new NioEventLoopGroup(); 

















Bootstrap bootstrap = new Bootstrap(); e BoM 创建 一 个 新 的 
Bootstrap 类 的 实例 ， 以 创建 新 的 客户 端 Channe1l 
bootstrap.group(group) =- -- 指定 一 个 适用 于 NIO 的 EventLoopGroup 实 
现 

.channel(OioSocketChannel.class) = -- 指定 一 个 适用 于 0I0 的 
Channel 实 现 类 


.handler (new SimpleChannelInboundHandler<ByteBuf>() { - - 
- ”设置 一 个 用 于 处 理 Channel 的 I/0 事件 和 数据 的 channelInboundHandler 
@Override 
protected void channelReadO( 
ChannelHandlerContext channelHandlerContext, 
ByteBuf byteBuf) throws Exception { 
System.out.println("Received data"); 























} 
+); 


ChannelFuture future = bootstrap.connect ( 
new InetSocketAddress("www.manning.com", 80)); =- -- Sie 





到 远程 节点 
future.syncUninterruptibly(); 


这 上 段 代 人 码 将 会 导致 IllegalstateException， 因 为 它 泥 用 了 不 兼容 的 
传输 。 


Exception in thread "main" java.lang.IllegalStateException: 
incompatible event loop type: io.netty.channel.nio.NioEventLoop a 
io.netty.channel.AbstractChannel$AbstractUnsafe. register ( 
AbstractChannel.java:571) 





关于 IlegalStateException 的 更 多 讨论 





在 引导 的 过 程 中 ， 在 调用 bind() 或 者 connect() 方 法 之 前 ， 必 须 
调用 以 下 方法 来 设置 所 需 的 组 件 : 


° group(); 
° channel( ) 或 者 channelFactory(); 
° handler (). 


如 果 不 这 样 做 ， 则 将 会 导致 TllegalstateException。 对 
handler() 方 法 的 调用 尤其 重要 ， 因 为 它 需 要 配置 
好 channelPipeline。 


8.3 引导 服务 器 


我 们 将 从 serverBootstrap API 的 概要 视图 开始 我 们 对 服务 器 引导 过 
程 的 概述 。 然 后 ， 我 们 将 会 探讨 引导 服务 器 过 程 中 所 涉及 的 几 个 步 又 ， 
以 及 几 个 相关 的 主题 ， 包 含 从 一 个 serverchannel 的 子 channel 中 引导 一 
个 客户 端 这 样 的 特殊 情况 。 


8.3.1 ServerBootstrap2< 


表 8-2 列 出 了 serverBootstrap 类 的 方法 。 


728-2 ServerBootstrap 类 的 方法 





group 


channel 


channelFactory 


localAddress 


option 


childOption 


attr 


childAttr 


handler 


childHandler 


clone 


Ny 
z% 








设置 serverBootstrap 要 用 的 Eventtooperoup o 这 个 EventLooperoup 将 用 了 于 serverchannet 和 和 被 接受 的 
F-channer (I/O NR EE 











设置 将 要 被 实 侈 化 的 serverchannel 类 









如 果 不 能 通过 默认 的 构造 函数 昌 创 建 oamez， 那 么 可 以 提供 一 个 cnanel- Factory 


指定 servercnamel 应 该 绑 定 到 的 本 地 地 址 。 如 果 没 有 指定 ， 则 将 由 操作 系统 使 月 
随机 地 址 。 或 者 ， 可 以 通过 bingw 方 法 来 指定 该 localnddress 





指定 要 应 用 到 新 创建 的 serverchannel 的 Jcnannelconfig 的 channel- Optiono 这 些 选 项 将 会 通过 
bind() 方 法 设置 到 cnannez。 在 aind(0) 方 法 被 调用 之 后 ， 设 置 或 者 改变 cnameloption 都 不 会 有 
任何 的 效果 。 所 支持 的 cnanneloptio" 取 决 于 所 使 用 的 cnanne! 类 型 。 参 见 正 在 使 用 的 
ChannelConfig 的 API 文 档 











指定 elo channel 被 接受 时 ’ 应 用 到 | 本 的 cnannelconfig 的 channeloption o 所 支持 的 
channeloption 取 决 于 所 使 用 的 cnanmnei 的 类 型 o 参见 正在 使 用 的 channelconfig 的 API 文 档 











指定 ER 的 属性 ’ 属性 将 会 通过 bina ) 方 法 设置 给 channel o 在 调用 bind( ) 方 法 之 
后 改变 它们 将 不 会 有 任何 的 效果 





将 属性 设置 给 已 经 被 接受 的 子 camez。 接 下 来 的 调用 将 不 会 有 任何 的 效果 





设置 被 添加 到 serverchannel 的 channelpPipeline 中 的 channelhandler o 更 加 常用 的 方法 参见 


childHandler() 


设置 将 被 添加 到 已 被 接受 的 子 Channel 的 cnannelpipeline 中 HJ channe1- Handlero handler( ) 方 法 和 
childHandler( ) 方 法 之 间 的 区 别 是 : 前 者 所 添加 的 cnannelhandler 由 接受 子 channel He 
处 理 ’ en ) 方 法 所 添加 的 channelhandler 将 由 已 被 接受 的 子 cnannel 处 理 > 其 代表 
一 个 绑 定 到 远程 节点 的 套 接 字 


克 隆 一 个 设置 和 原始 的 serverBootstrap 相 同 的 servereootstrap 
































AE serverChannel ENE E — 其 将 会 在 绑 定 操作 完成 后 收 到 通知 ( 带 着 
成 功 或 者 失败 的 结果 ) 





下 一 节 将 介绍 服务 器 引导 的 详细 过 程 。 
8.3.2 ”引导 服务 器 


你 可 能 已 经 注意 到 了 ， 表 8-2 中 列 出 了 一 些 在 表 8-1 中 不 存在 的 方 
法 : childHandler()、childAttr() 和 childoption()。 这 些 调用 支持 特 
别 用 于 服务 器 应 用 程序 的 操作 。 有 具体 来 说 ，serverchannel 的 实现 负责 
创建 子 channel， 这 些 子 channel 代 表 了 已 被 接受 的 连接 。 因 此 ， 人 负责 引 
导 serverchannel 的 ServerBootstrap 提 供 了 这 些 方法 ， 以 简化 将 设置 应 
用 到 己 被 接受 的 子 channel 的 channelCconfig 的 任务 。 


图 8-3 展 示 了 serverBootstrap 在 bind() 方 法 被 调用 时 创建 了 一 
个 Serverchanne1， 并 且 该 serverchanne1 管 理 了 多 个 子 channel。 
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图 8-3 ServerBootstrap 和 Serverchannel 
代码 清单 8-4 中 的 代码 实现 了 图 8-3 中 所 展示 的 服务 器 的 引导 过 程 。 
代码 清单 8-4 引导 服务 器 


NioEventLoopGroup group = new NioEventLoopGroup(); 



























































ServerBootstrap bootstrap = new ServerBootstrap(); - -- UË 
ServerBootstrap 
bootstrap.group(group) =- -- 设置 EventLoopGroup， 其 提供 了 用 于 处 理 
Channel 事件 的 EventLoop 

.channel(NioServerSocketChannel.class) =- -- 指定 要 使 用 的 
Channel 实现 

.childHandler (new SimpleChannelInboundHandler<ByteBuf> 
O I - - 设 ” 置 用 于 处 理 已 被 接受 的 子 Channel 的 I/0 及 数据 的 
ChannelInbound-Handler 

@Override 


protected void channelReadO(ChannelHandlerContext ctx, 
ByteBuf byteBuf) throws Exception { 
System.out.printin("Received data"); 

} 


+); 
ChannelFuture future = bootstrap.bind(new InetSocketAddress(8080) 


- 通过 配置 好 的 ServerBootstrap 的 实例 绑 定 该 Channel 
future.addListener(new ChannelFutureListener() { 
@Override 
public void operationComplete(ChannelFuture channelFuture) 
throws Exception { 
if (channelFuture.isSuccess()) { 
System.out.printin("Server bound"); 
} else { 
System.err.printin("Bound attempt failed"); 
channelFuture.cause().printStackTrace()j; 


} 
} ); 
8.4 从 Channel 引 导 客 户 端 
假设 你 的 服务 器 正在 处 理 一 个 客户 端的 请 求 ， 这 个 请 求 需 要 它 充 当 


第 三 方 系统 的 客户 端 。 当 一 个 应 用 程序 〈 如 一 个 代理 服务 器 ) 必须 要 和 
组 织 现 有 的 系统 (如 Web 服 务 或 者 数据 库 ) 集成 时 ， 残 可 能 发 生 这 种 情 


况 。 在 这 种 情况 下 ， 将 需要 从 已 经 被 接受 的 子 channel 中 引导 一 个 客户 


VigChannel. 


你 可 以 按照 8.2.1 节 中 所 摘 述 的 方式 创建 新 的 Bootstrap 实 例 ， 但 是 
这 并 不 是 最 高 效 的 解决 方案， 因为 它 将 要 求 你 为 每 个 新 创建 的 客户 端 
Channel 定 义 男 一 个 EventLoop。 这 会 产生 额外 的 线程 ， 以 及 在 已 被 接受 
的 子 channel 和 客户 端 channel 之 间 交 换 数 据 时 不 可 避免 的 上 下 文 切换 。 


一 个 更 好 的 解决 方案 是 : 通过 将 已 被 接受 的 子 channel 的 EventLoop 
传递 给 Bootstrap 的 group() 方 法 来 共享 该 EventLoop。 因 为 分 配给 
EventLoop 的 所 有 channel 都 使 用 同一 个 线程 ， 所 以 这 避免 了 额外 的 线程 
和 Ae 
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图 8-4 在 两 个 channe1 之 间 共 享 EventLoop 


实现 EventLoop 共 享 涉及 通过 调用 group() 方 法 来 设置 EventLoop， 如 
代码 清单 8-5 所 示 。 


代码 清单 8-5 ”引导 服务 器 


ServerBootstrap bootstrap = new ServerBootstrap( ) ; - -- 创建 
ServerBootstrap 以 创建 ServerSocketchannel， 并 绑 定 它 
bootstrap.group(new NioEventLoopGroup(), new NioEventLoopGroup()) 



























































- -- 设置 EventLoopGroup， 其 将 提供 用 以 处 理 Channe1l 事件 的 EventLoop 
.channel(NioServerSocketChannel.class) -~ -- 指定 要 使 用 的 
Channel 实现 
.childHandler( =- -- 设置 用 于 处 理 已 被 接受 的 子 Channel 的 I/0 和 数据 














的 ChannelInboundHandler 
new SimpleChannelInboundHandler<ByteBuf>() { 
ChannelFuture connectFuture; 
@Override 
public void channelActive(ChannelHandlerContext ctx) 
throws Exception { 
Bootstrap bootstrap = new Bootstrap(); =- -- 创建 一 
个 Bootstrap 类 的 实例 以 连接 到 远程 主机 

















bootstrap.channel(NioSocketChannel.class).handler ( - -- 指定 
Channel 的 实现 
new SimpleChannelInboundHandler<ByteBuf> 
O { © -- 为 入 站 I/0 设置 ChannelInboundHandler 
@Override 


protected void channelReadO( 
ChannelHandlerContext ctx, ByteBuf in) 
throws Exception { 
System.out.println("Received data"); 
} 
+); 
bootstrap.group(ctx.channel().eventLoop()); fs U 
- ”使 用 与 分 配给 已 被 接受 的 子 Channel 相同 的 EventLoop 
connectFuture = bootstrap.connect ( 











new InetSocketAddress("www.manning.com", 80)); =- -- 连接 到 远程 节 
占 


@Override 
protected void channelReadO( 
ChannelHandlerContext channelHandlerContext, 
ByteBuf byteBuf) throws Exception { 


if (connectFuture.isDone()) { 























// do something with the data =- -- 当 连 接 完 成 
时 ， 执 行 一 些 数据 操作 如 代理 ) 
} 
} 
} ); 
ChannelFuture future = bootstrap.bind(new InetSocketAddress(8080 ) 
- -- 通过 配置 好 的 ServerBootstrap 绑 定 该 Server-SocketChanne1 
future.addListener(new ChannelFutureListener() { 
@Override 


public void operationComplete(ChannelFuture channelFuture) 
throws Exception { 
if (channelFuture.isSuccess()) { 
System.out.printin("Server bound"); 
} else { 
System.err.printin("Bind attempt failed"); 
channelFuture.cause().printStackTrace()j; 


} 
} 
+); 


ERAN TEI AS PITT V8 FY FE eA ST BE RT REER T G 
Netty 应 用 程序 的 一 个 一 般 准 则 : 尽 可 能 地 重用 EventLoop， 以 减少 线程 
创建 所 带 来 的 开销 。 


8.5 在 引导 过 程 中 添加 多 个 ChannelHandler 








在 所 有 我 们 展示 过 的 代码 示例 中 ， 我 们 都 在 引导 的 过 程 中 调用 了 
handler( ) 或 者 child- Handler() 方 法 来 添加 单个 的 channelHandler。 这 
对 于 简单 的 应 用 程序 来 说 可 能 已 经 足够 了 了 ， 但 是 它 不 能 满足 更 加 复杂 的 
需求 。 例 如 ， 一 个 必须 要 文 持 多 种 协议 的 应 用 程序 将 会 有 很 多 的 
channelHandler， 而 不 会 是 一 个 庞大 而 又 笨重 的 类 。 


正如 你 经 常 所 看 到 的 一 样 ， 你 可 以 根据 需要 ， 通 过 
在 channelPipeline 中 将 它们 链接 在 一 起 来 部 署 尽 可 能 多 的 
channelHandler。 但 是 ， 如 果 在 引导 的 过 程 中 你 只 能 设置 一 
个 channelHandler， 那么 你 应 该 怎么 做 到 这 一 点 呢 ? 


正 是 针对 于 这 个 用 例 ，Netty 提 供 了 一 个 特殊 的 


ChannelInboundHandlerAdapter 子 类 : 











public abstract class ChannelInitializer<C extends Channel> 
extends ChannelInboundHandlerAdapter 


它 定 义 了 下 面 的 方法 : 
protected abstract void initChannel(C ch) throws Exception; 


这 个 方法 提供 了 一 种 将 多 个 channelHandler 添 加 到 一 
个 channelPipeline 中 的 简便 方法 。 你 只 需要 简单 地 向 Bootstrap 
或 serverBootstrap 的 实例 提供 你 的 channel-Initializer 实 现 即 可 ， 并 
且 一 旦 channe1 被 注册 到 了 它 的 EventLoop 之 后 ， 就 会 调用 你 的 
initchannel() 版 本 。 在 该 方法 返回 之 后 ，channelInitializer 的 实例 将 
会 从 channel-Pipeline 中 移 除 它 自己 。 


代码 清单 8-6 定 义 了 channelInitializerImpl 类 ， 并 通过 
ServerBootstraplJchildHandler() WEES. 你 可 以 看 到 ， a 
似 复杂 的 操作 实际 上 是 相当 简单 直接 的 。 
代码 清单 8-6 引导 和 使 用 channelInitializer 


ServerBootstrap bootstrap = new ServerBootstrap(); - -- 创建 
ServerBootstrap 以 创建 和 绑 定 新 的 Channel 
bootstrap.group(new NioEventLoopGroup(), new NioEventLoopGroup()) 












































- -- 设置 EventLoopGroup， 其 将 提供 用 以 处 理 Channe1l 事件 的 EventLoop 
.channel(NioServerSocketChannel.class) © -- 指定 Channel 的 
实现 
.childHandler(new ChannelInitializeriImpl()); ~ -- 注册 一 个 


ChannelInitializerImpl 的 实例 来 设置 ChannelPipeline 
ChannelFuture future = bootstrap.bind(new InetSocketAddress(8080 
- 绑 定 到 地 址 
future.sync(); 
final class ChannelInitializerImpl extends ChannelInitializer {4° 
- 用 以 设置 ChannelPipeline 的 自 定义 ChannelInitializerImpl 实现 
@Override 
protected void initChannel(Channel ch) throws Exception { =- - 
- 将 所 需 的 channelHandler 添 加 到 ChannelPipeline 
ChannelPipeline pipeline = ch.pipeline(); 
pipeline.addLast(new HttpClientCodec()); 


pipeline.addLast(new HttpObjectAggregator (Integer .MAX_VALUE) ); 


J 


如 果 你 的 应 用 程序 使 用 了 多 个 channelHandler， 请 定义 你 自己 的 
channelInitializer 实 现 来 将 它们 安装 到 channelPipeline 中 。 





8.6 ”使 用 Netty 的 ChannelOption 和 属性 


在 每 个 channe1 创 建 时 都 手动 配置 它 可 能 会 变 得 相当 乏味 。 笠 运 的 
是 ， 你 不 必 这 样 做 。 相 反 ， 你 可 以 使 用 option() 方 法 来 将 channeloption 
应 用 到 引导 。 你 所 提供 的 值 将 会 被 自动 应 用 到 引导 所 创建 的 所 
#4 Channel. 可 用 的 channeloption 包 括 了 底层 连接 的 详细 信息 ， 如 keep- 
alive 或 者 超时 属性 以 及 缓冲 区 设置 。 


Netty 应 用 程序 通常 与 组 织 的 专 有 软件 集成 在 一 起 ， 而 像 channel 这 
样 的 组 件 可 能 甚至 会 在 正常 的 Netty 生 命 周 期 之 外 被 使 用 。 在 某 些 常 用 
的 属性 和 数据 不 可 用 时 ，Netty 提 供 了 AttributeMap 抽 象 〈 一 个 
由 channel 和 引导 类 提供 的 集合 ) 以 及 Attributekey<T> 〈 一 个 用 于 插入 和 
获取 属性 值 的 泛 型 类 ) 。 使 用 这 些 工 具 ， 便 可 以 安全 地 将 任何 类 型 的 数 
据 项 与 客户 端 和 服务 器 channe1l (14Serverchannelf' Channel) 相关 
EK S 


例如 ， 考 虑 一 个 用 于 跟踪 用 户 和 channel 之 间 的 关系 的 服务 器 应 用 
程序 。 这 可 以 通过 将 用 户 的 ID 存储 为 channel1 的 一 个 属性 来 完成 。 类 似 
的 撤 术 可 以 被 用 来 基于 用 户 的 ID 将 消息 路 由 给 用 户 ， 或 者 关闭 活动 较 少 


的 channel。 


代码 清单 8-7 展 示 了 可 以 如 何 使 用 channeloption 来 配置 channel， 以 
及 如 果 使 用 属性 来 存储 整 型 值 。 


代码 清单 8-7 使 用 属性 值 


final AttributeKey<Integer> id = AttributeKey.newInstance("ID"); 






































创建 一 个 AttributeKey 以 标识 该 属性 
Bootstrap bootstrap = new Bootstrap();  -- 创建 一 个 Bootstrap 类 
的 实例 以 创建 客户 端 thannel 并 连接 它们 
bootstrap.group(new NioEventLoopGroup()) = -- 设置 
EventLoopGroup， 其 提供 了 用 以 处 理 Channe1 事 件 的 EventLoop 
.channel(NioSocketChannel.class) ~ -- 指定 Channel 的 实现 
.handler( 

















new SimpleChannelInboundHandler<ByteBuf>() {  -- 设置 用 以 处 理 
Channel 的 I/0 以 及 数据 的 channel-InboundHandler 





@Override 
public void channelRegistered(ChannelHandlerContext ctx) 
throws Exception { 
Integer idValue = ctx.channel().attr(id).get(); - - 
- 使 用 AttributeKey 检索 属性 以 及 它 的 值 
// do something with the idValue 





@Override 

protected void channelRead0( 
ChannelHandlerContext channelHandlerContext, 
ByteBuf byteBuf) throws Exception { 
System.out.printin("Received data"); 


} 
); 


bootstrap.option(ChanneloOption.SO_KEEPALIVE, true) 
.option(ChannelOption.CONNECT_TIMEOUT_ MILLIS, 5000); 

-  t¢#Channeloption, } 其 将 在 connect () 或 者 bind() 方 法 被 调用 时 被 设置 到 已 经 

创建 的 Channel 上 











bootstrap.attr(id, 123456);  -- 存储 该 id 属性 
ChannelFuture future = bootstrap.connect( 
new InetSocketAddress("www.manning.com", 80)); =- -- 使 用 配置 


好 的 Bootstrap 实 例 连 接 到 远程 主机 
future.syncUninterruptibly(); 





8.7 引导 DatagramChannel 





前 面 的 引导 代码 示例 使 用 的 都 是 基于 TCP 协 议 的 Socketchannel， 但 
是 Bootstrap 类 也 可 以 被 用 于 无 连接 的 协议 。 为 此 ，Netty 提 供 了 各 种 
DatagramCchannel 的 实现 。 唯 一 区 别 就 是 ， 不 再 调用 connect() 方 法 ， 而 
是 只 调用 bind() 方 法 ， 如 代码 清单 8-8 所 示 。 


代码 清单 8-8 使 用 Bootstrap 和 Datagramchanne1l 




















Bootstrap bootstrap = new Bootstrap(); =- -- 创建 一 个 
Bootstrap 的 实例 以 创建 和 绑 定 新 的 数据 报 Channel 

bootstrap.group(new OioEventLoopGroup()).channel( - -- 设置 
EventLoopGroup， 其 提供 了 用 以 处 理 Channel 事件 的 EventLoop 











OioDatagramChannel.class).handler( =- -- 指定 Channel 的 实现 
new SimpleChannelInboundHandler<DatagramPacket>(){ =- -- 设置 
用 以 处 理 Channel 的 I/0 以 及 数据 的 Channel-InboundHandler 
@Override 
public void channelReadO(ChannelHandlerContext ctx, 
DatagramPacket msg) throws Exception { 

















// Do something with the packet 


} 
} 


ChannelFuture future = bootstrap.bind(new InetSocketAddress(0)); 
- 调用 bind( ) 方 法 ， 因 为 该 协议 是 无 连接 的 
future.addListener(new ChannelFutureListener() { 
@Override 
public void operationComplete(ChannelFuture channelFuture) 
throws Exception { 
if (channelFuture.isSuccess()) { 
System.out.printin("Channel bound"); 
} else { 
System.err.printin("Bind attempt failed"); 
channelFuture.cause().printStackTrace()j; 





} 
} 
+); 


8.8 关闭 


引导 使 你 的 应 用 程序 局 动 并 且 运 行 起 来 ， 但 是 迟早 你 都 需要 优雅 地 
将 它 关 财 。 当 然 ， 你 也 可 以 让 JVM 在 退出 时 处 理 好 一 切 ， 但 是 这 不 符合 
优雅 的 定义 ， 优 雅 是 指 干净 地 释放 资源 。 关 闭 Netty 应 用 程序 并 没有 太 
多 的 魔法 ， 但 是 还 是 有 些 事情 需要 记 在 心 上 。 


最 重要 的 是 ， 你 需要 关闭 EventLoopGroup， 它 将 处 理 任何 挂 起 的 事 
件 和 任务 ， 并 且 随 后 释放 所 有 活动 的 线程 。 这 就 是 调 
用 EventLoopGroup .shutdownGracefully() 方 法 的 作用 。 这 个 方法 调用 将 
会 返回 一 个 Future， 这 个 Future 将 在 关闭 完成 时 接收 到 通知 。 需 要 注意 
的 是 ，shutdownGracefully() 方 法 也 是 一 个 异步 的 操作 ， 所 以 你 需要 阻 
塞 等 待 直到 它 完成 ， 或 者 同 所 返回 的 Future 注 册 一 个 监 昕 器 以 在 关闭 完 
成 时 获得 通知 。 


代码 清单 8-9 符 合 优 雅 关闭 的 定义 。 
代码 清单 8-9 优雅 关闭 






































EventLoopGroup group = new NioEventLoopGroup(); - -- 创建 处 理 
I/O 的 EventLoopGroup 
Bootstrap bootstrap = new Bootstrap(); - -- 创建 一 个 Bootstrap 类 





的 实例 并 配置 它 


bootstrap.group(group) 
.channel(NioSocketChannel.class); 


Future<?> future = group.shutdownGracefully(); 

- shutdownGracefully( ) 方 法 将 释放 所 有 的 资源 ， 并 且 关闭 所 有 的 当前 正在 使 用 中 
(Channel 

// block until the group has shutdown 
future.syncUninterruptibly(); 








或 者 ， 你 也 可 以 在 调用 EventLoopGroup .shutdownGracefully() 方 法 
之 前 ， 显 式 地 在 所 有 活动 的 channel 上 调用 channel.close() 方 法 。 但 是 
在 任何 情况 下 ， 都 请 记得 关闭 EventLoopGroup 本 里。 


8.9 小结 











在 本 章 中 ， 你 学 习 了 如 何 引 导 Netty 服 务 器 和 客户 端 应 用 程序 ， 包 
括 那 些 使 用 无 连接 协议 的 应 用 程序 。 我 们 也 涵盖 了 一 些 特殊 情况 ， 包 括 
在 服务 器 应 用 程序 中 引导 客户 端 channel， 以 及 使 用 channelInitializer 
来 处 理 引 导 过 程 中 的 多 个 channelHandler 的 安装 。 你 看 到 了 如 何 设 
置 channel 的 配置 选项 ， 以 及 如 何 使 用 属性 来 将 信息 附加 到 channel。 最 
Ja, VR :学 习 了 如 何 优雅 地 关闭 应 用 程序 ， 以 有 序 地 释放 所 有 的 资源 。 


在 下 一 章 中 ， 我 们 将 研究 Netty 提 供 的 帮助 你 测试 你 的 
channelHandler 实 现 的 工具 。 








[1] channel 继 承 了 AttributeMap。 一 一 译 者 注 
[2] 分 层 抽象 。 一 一 译 者 注 
[B] 应 用 程序 的 人 逻辑 或 实现 。 一 一 译 者 注 


at “拼图 ” 指 的 是 Netty 的 核心 概念 以 及 组 件 ， 也 包括 了 如 何 完整 正确 地 
组 织 并 且 运 行 一 个 Netty 应 用 程序 。 一 一 译 者 注 


[5] Java 平台 ， 标 准 版 第 8 版 API 规 范 ，java.lang，Interface Cloneable: 
http://docs.oracle.com/javase/8/docs/api/ java/lang/Cloneable.html. 


[6] 被 浅 找 贝 的 EventLoopG6roup。 一 一 译 者 注 


[7] 这 里 指 默 认 的 无 参 构 造 函 数 ， 因 为 内 部 使 用 了 反 冉 来 实现 channel 的 
创建 。 译 者 注 


[8] 这 里 指 无 参数 的 构造 函数 。 一 一 译 者 注 





[9] 注册 到 serverchanne1 的 子 channe1l 的 ChannelLlPipeline。 一 一 译 者 注 


[10] 在 大 部 分 的 场景 下 ， 如 果 你 不 需要 使 用 只 存在 于 socketchannel 上 的 
方法 ， 使 用 channelInitializer- 就 可 以 了 ， 和 否则 你 可 以 使 
用 channeLInitializer， 其 中 socketchannel 扩 展 了 channel。 译 者 
注 








[1 ”需要 注意 的 是 ，AttributeKey 上 同时 存在 newInstance(String) 和 
valueof(String) 方 法 ， 它 们 都 可 以 用 来 获取 具有 指定 名 称 的 
Attributekey 实 例 ， 不 同 的 是 ， 前 者 可 能 会 在 多 线程 环境 下 使 用 时 抛 出 
异常 (实际 上 调用 了 createorThrow(String) 方 法 ) 通常 适用 于 初始 
化 静态 变量 的 时 候 ， 而 后 者 (实际 上 调用 了 getorcreate(String) 方 法 ) 
则 更 加 通用 (线程 安全 ) 。 一 一 译 者 注 

















第 9 章 ” 单元 测试 


pe 


本 章 主 要 内 容 


。 单元 测试 
e Embeddedchanne1 概 述 
e 使 用 Embeddedchannel 测 试 channelHandler 


channelHandler 是 Netty 应 用 程序 的 关键 元 素 ， 所 以 彻底 地 测试 它们 
应 该 是 你 的 开发 过 程 的 一 个 标准 部 分 。 最 佳 实践 要 求 你 的 测试 不 仅 要 能 
够 证 明 你 的 实现 是 正确 的 ， 而 且 还 要 能 够 很 容易 地 隔离 那些 因 修 改 代 码 
而 突然 出 现 的 问题 。 这 种 类 型 的 测试 叫 作 单元 测试 。 


虽然 单元 测试 没有 统一 的 定义 ， 但 是 大 多 数 的 从 业者 都 有 基本 的 共 
识 。 其 基本 思想 是 ， 以 尽 可 能 小 的 区 块 测 试 你 的 代码 ， 并 且 尺 可 能 地 和 
其 他 的 代码 模块 以 及 运行 时 的 依赖 (如 数据 库 和 网 络 ) 相 隔离 。 如 果 你 
的 应 用 程序 能 通过 测试 验证 每 个 单元 本 里 部 能 够 正常 地 工作 ， 那 么 在 出 
了 问题 时 将 可 以 更 加 容易 地 找 出 根本 原因 。 


在 本 章 中 ， 我 们 将 学 习 一 种 特殊 的 channel 实 现 
Embeddedchannel， 它 是 Netty 专 门 为 改进 针对 channelHandler 的 单元 
测试 而 提供 的 。 


因为 正在 被 测试 的 代码 模块 或 者 单元 将 在 它 正 常 的 运行 时 环境 之 外 
被 执行 ， 所 以 你 需要 一 个 框 染 或 者 脚 手 染 以 便 在 其 中 运行 它 。 在 我 们 的 
例子 中 ， 我 们 将 使 用 JUnit 4 作为 我 们 的 测试 框架 ， 所 以 你 需要 对 它 的 用 
法 有 一 个 基本 的 了 解 。 如 果 它 对 你 来 说 比较 陌生 ， 不 要 害怕 ; 虽然 它 功 
能 强大 ， 但 却 很 简单 ， 你 可 以 在 JUnit 的 官方 网 站 Cwww.junit.org) EFR 
到 你 所 需要 的 所 有 信息 。 


你 可 能 会 发 现 回顾 前 面 关 于 channelHandler 的 章节 很 有 用 ， 因为 这 














将 为 我 们 的 示例 提供 素材 。 
9.1 EmbeddedChannel 概 述 


你 已 经 知道 ， 可 以 将 channelPipeline 中 的 channelHandler 实 现 链接 
在 一 起 ， 以 构建 你 的 应 用 程序 的 业务 逻辑 。 我 们 已 经 在 前 面 解释 过 ， 这 
种 设计 支持 将 任何 潜在 的 复杂 人 处理 过 程 分 解 为 小 的 可 重用 的 组 件 ， 每 个 
组 件 都 将 处 理 一 个 明确 定义 的 任务 或 者 步骤 。 在 本 章 中 ， 我 们 还 将 展示 
它 是 如 何 简化 测试 的 。 

Netty 提 供 了 它 所 谓 的 Embedded 传 输 ， 用 于 测试 channelHandler。 
这 个 传输 是 一 种 特殊 的 channel 实 现 一 一 Embeddedchannel 一 一 的 功能 ， 
这 个 实现 提供 了 通过 channelPipeline 传 播 事 件 的 简便 方法 。 

这 个 想法 是 直截了当 的 : 将 入 站 数据 或 者 出 站 数据 写 入 
到 Embeddedchannel 中 ， 然 后 检查 是 否 有 任何 东西 到 达 了 
channelPipeline 的 尾 端 。 以 这 种 方式 ， 你 便 可 以 确定 消息 是 否 已 经 被 编 
人 码 或 者 被 解码 过 了 ， 以 及 是 否 触发 了 任何 的 channelHandler 动 作 。 

表 9-1 中 列 出 了 Embeddedchanne1l 的 相关 方法 。 


表 9-1 特殊 的 Embeddedchanne1 方 法 


网 四 























writernbound( 上 将 入 站 消息 写 到 ampeadedcnameaz 中 。 如 果 可 以 通过 -eadrznbound0) 方 法 从 ameddedcnannel 中 该 取 
eka ee 数据 ， 则 返回 trus 





readInbound() 从 EmbeddedChannel 中 读 取 一 个 入 站 消 A o 任何 返 回 的 东 西 都 穿越 了 整个 channelpipeline o 
如 果 没 有 任何 可 供 读 取 的 ， 则 返回 wa 


writeOutbound( 将 出 站 消 BS 到 Embeddedchannel 中 o 如 果 现 在 可 以 通过 reagoutboundt ) 方 法 从 Embeddedchannel 中 
Raga ar 读 取 到 什么 东西 ， 则 返回 true 


readOutbound( ) M EmbeddedChannel 中 读 取 一 个 ant 站 消 A o 任何 返 回 的 东 西 都 穿越 了 人 o 
如 果 没 有 任何 可 供 读 取 的 ， 则 返回 wa 



































finish() 将 embeddedcnannel 标 记 为 完成 ， 并 且 如 果 有 可 被 读 取 的 入 站 数据 或 者 出 站 数据 ， 则 返 
[A] true o 这 个 方法 还 将 会 调用 Embeddedchannel 上 的 caosed ) 方 法 








入 站 数据 由 channelInboundHandler 处 理 ， 代 表 从 远程 节点 读 取 的 数 





据 。 出 站 数据 由 channeloutboundHandler 处 理 ， 代 表 将 要 写 到 远程 节点 
的 数据 。 根 据 你 要 测试 的 channel-Handler， 你 将 使 用 *Inbound() 或 
者 *0utbound() 方 法 对 ， 或 者 兼 而 有 之 。 


图 9-1 展 示 了 使 用 Embeddedchannel 的 方法 ， 数 据 是 如 何 流 经 
channelPipeline 的 。 你 可 以 使 用 writeoutbound() 方 法 将 消息 写 
到 channel 中 ， 并 通过 channelpPipeline 沿 着 出 站 的 方向 传递 。 随 后 ， 你 
可 以 使 用 readoutbound() 方 法 来 读 取 已 被 处 理 过 的 消息 ， 以 确定 结果 是 
否 和 预期 一 样 。 类 似 地 ， 对 于 入 站 数据 ， 你 需要 使 用 writeInbound() 和 
readInbound() 方 法 。 


在 每 种 情况 下 ， 消 息 都 将 会 传递 过 channelPipeline， 并 且 被 相关 的 
channelInbound-Handler 或 者 channeloutboundHandler 处 理 。 如 果 消 息 没 
有 被 消费 ， 那 么 你 可 以 使 用 readInbound() 或 者 readoutbound() 方 法 来 在 
处 理 过 了 这 些 消 息 之 后 ， 酌 情 把 它们 从 channe1 中 读 出 来 。 
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图 9-1 Embeddedchannel 的 数据 流 


接 下 来 让 我 们 仔细 看 看 这 两 种 场景 ， 以 及 它们 是 如 何 应 用 于 测试 你 
的 应 用 程序 逻辑 的 吧 。 


9.2 ”使 用 EmbeddedChannel 测 试 ChannelHandler 


在 这 一 节 中 ， 我 们 将 讲解 如 何 使 用 Embeddedchanne1 来 测试 


ChannelHandler. 


JUnit ht = 


_org,junit,Assert 关 提供 了 很 多 用 于 测试 的 静态 方法 。 失 败 的 
岂 言 将 导致 一 个 异常 被 抛 出 ， 并 将 终止 当前 正在 执行 中 的 测试 。 导 
入 这 些 断 言 的 最 高 效 的 方式 是 通过 一 个 import static 语 句 来 实 
现 : 


import static org.junit.Assert.*; 
一 旦 这 样 做 了 ， 束 可 以 直接 调用 Assert 方 法 了 : 
assertEquals(buf.readSlice(3), read); 
9.2.1 tli Awa E 
图 9-2 展示 了 一 个 简单 的 ByteToMessageDecoder 实 现 。 给 定 足 够 的 数 


据 ， 这 个 实现 将 产生 固定 大 小 的 帧 。 如 果 没 有 足够 的 数据 可 供 读 取 ， 它 
将 等 每 下 一 个 数据 块 的 到 来 ， 并 将 再 次 检查 是 否 能 够 产生 一 个 新 的 帧 。 











图 9-2 ”通过 FixedLengthFrameDecoder 解 码 


正如 可 以 从 图 9-2 右 侧 的 帧 看 到 的 那样 ， 这 个 特定 的 解码 器 将 产生 





固定 为 3 字 市 大 小 的 帧 。 因 此 ， 它 可 能 会 需要 多 个 事件 来 提供 足够 的 字 
节 数 以 产生 一 个 帧 。 








最 终 ， 每 个 帧 都 会 被 传递 给 channelPipeline 中 的 下 一 
ChannelHandler. 


该 解码 器 的 实现 ， 如 代码 清单 9-1 所 示 。 


代码 清单 9-1 FixedLengthFrameDecoder 


public class FixedLengthFrameDecoder extends ByteToMessageDecoder 





TA 

















扩展 ByteToMessageDecoder 以 处 理 入 站 字 节 ， 并 将 它们 解码 为 消息 
private final int frameLength; 











public FixedLengthFrameDecoder(int frameLength) { - -- 指定 





要 生成 的 帧 的 长 度 


if (frameLength <= 0) { 
throw new IllegalArgumentException( 
"frameLength must be a positive integer: " + frameLe 


this.frameLength = frameLength; 

@Override 

protected void decode(ChannelHandlerContext ctx, ByteBuf in, 
List<Object> out) throws Exception { 


while (in.readableBytes() >= frameLength) { ~— -- TATE 
有 足够 的 字 节 可 以 被 读 取 ， 以 生成 下 一 个 帧 





ByteBuf buf = in.readBytes(frameLength) ) - -- 从 
ByteBuf 中 读 取 一 个 新 帧 | 
out.add(buf);  -- 将 该 帧 添加 到 已 被 解码 的 消息 列表 中 
} 





现在 ， 让 我 们 创建 一 个 单元 测试 ， 以 确保 这 段 代码 将 按照 预期 执 
行 。 正 如 我 们 前 面 所 指出 的 ， 即 使 是 在 简单 的 代码 中 ， 单 元 测试 也 能 帮 
助 我 们 防止 在 将 来 代码 重 构 时 可 能 会 导致 的 问题 ， 并 且 能 在 问题 友 生 时 
帮助 我 们 诊断 它们 。 


代码 清单 9-2 展 示 了 一 个 使 用 Embeddedchannel 的 对 于 前 面 代码 的 测 








is 
代码 清单 9-2 ”测试 FixedLengthFrameDecoder 
public class FixedLengthFrameDecoderTest { e -- 使 用 了 注解 
@Test 标注 ， 因 此 JUnit 将 会 执行 该 方法 
@Test 
public void testFramesDecoded() { Sni 第 一 个 测试 方法 : 





testFramesDecoded() 
ByteBuf buf = Unpooled.buffer(); - -- 创建 一 个 ByteBuf， 并 
存储 9 ZH 
for (int i = 0; i < 9; i++) { 
buf .writeByte(1); 





} 
ByteBuf input = buf.duplicate(); 
EmbeddedChannel channel = new EmbeddedChannel ( - -- 创建 
一 个 Embeddedchanne1， 并 添加 一 个 FixedLengthFrameDecoder， 其 将 以 3 字 节 的 
帧 长 度 被 测试 
new FixedLengthFrameDecoder(3) ); 
// write bytes 





assertTrue(channel.writeInbound(input.retain())); - - 
- 将 数据 写 入 Embedded-Channel 
assertTrue(channel.finish()); - -- 标记 Channel 为 已 完成 状 


or 








// read messages =- -- 读 取 所 生成 的 消息 ， 并 且 验 证 是 否 有 3 W H 
片 ) ， 其 中 每 帧 〈 切 片 ) 都 为 3 字 节 

ByteBuf read = (ByteBuf) channel.readInbound(); 

assertEquals(buf.readSlice(3), read); 

read.release(); 








read = (ByteBuf) channel. readInbound(); 


assertEquals(buf.readSlice(3), read); 
read.release(); 


read = (ByteBuf) channel. readInbound(); 
assertEquals(buf.readSlice(3), read); 
read.release(); 


assertNull(channel.readInbound()); 
buf.release(); 





} 
@Test 
public void testFramesDecoded2() { $5 74 第 二 个 测试 方法 : 


testFramesDecoded2() 
ByteBuf buf = Unpooled.buffer(); 
for (int i = 0; i < 9; i++) { 
buf .writeByte(1); 


} 
ByteBuf input = buf.duplicate(); 


EmbeddedChannel channel = new EmbeddedChannel ( 
new FixedLengthFrameDecoder(3)); 


assertFalse(channel.writeInbound(input.readBytes(2))); - -- B 
回 false， 因 为 没有 一 个 完整 的 可 供 读 取 的 帧 
assertTrue(channel.writeInbound(input.readBytes(7))); 

















assertTrue(channel.finish()); 

ByteBuf read = (ByteBuf) channel.readInbound(); 
assertEquals(buf.readSlice(3), read); 
read.release(); 


read = (ByteBuf) channel. readInbound(); 
assertEquals(buf.readSlice(3), read); 
read.release(); 


read = (ByteBuf) channel. readInbound(); 
assertEquals(buf.readSlice(3), read); 
read.release(); 


assertNull(channel.readInbound()); 
buf.release(); 


该 testFramesDecoded() 方 法 验证 了 : 一 个 包含 9 个 可 读 字 节 的 
ByteBuf 被 解码 为 3 个 ByteBuf， 每 个 都 包含 了 3 字 市 。 需 要 注意 的 是 ， 仪 


通过 一 次 对 writeInbound() 方 法 的 调用 ，ByteBuf 是 如 何 被 填充 了 9 个 可 
读 字 节 的 。 在 此 之 后 ， 通 过 执行 finish() 方 法 ， 将 Embeddedchanne1 标 记 
为 了 已 完成 状态 。 最 后 ， 通 过 调用 readInbound() 方 法 ， 从 Embedded - 
channe1l 中 正好 读 取 了 3 个 帧 和 一 个 nul1。 


testFramesDecoded2() 方 法 也 是 类 似 的 ， 只 有 一 处 不 同 : 入 站 
ByteBuf 是 通过 两 个 步 又 写 入 的 。 当 writeInbound(input.readBytes(2)) 
被 调用 时 ， 返 回 了 false。 为 什么 呢 ?” 正 如 同 表 9-1 中 所 描述 的 ， 如 果 对 
readInbound() 的 后 续 调 用 将 会 返回 数据 ， 那么 write-Inbound( ) 方 法 将 
会 返回 true。 但 是 只 有 当 有 3 个 或 者 更 多 的 字 节 可 供 读 取 
时 ， FixedLength-FrameDecoder 才 会 产生 输出 。 该 测试 剩 下 的 部 分 和 
testFramesDecoded() 是 相同 的 。 


9.2.2 测试 出 站 消息 


测试 出 站 消息 的 处 理 过 程 和 刚才 所 看 到 的 类 似 。 在 下 面 的 例子 中 ， 
我 们 将 会 展示 如 何 使 用 Embeddedchanne1 来 测试 一 个 编码 器 形式 的 
channel0utboundHandler， 编 码 器 是 一 种 将 一 种 消 恩 格式 转换 为 男 一 种 
的 组 件 。 你 将 在 下 一 章 中 非常 详细 地 学 习 编 码 器 和 解码 器 ， 所 以 现在 我 
们 只 需要 简单 地 提 太 我 们 正在 测试 的 处 理 器 一 一 AbsIntegerEncoder， 它 
是 Netty 的 MessageToMessageEncoder 的 一 个 特殊 化 的 实现 ， HFH HE 
整数 转换 为 绝对 值 。 


该 示例 将 会 按照 下 列 方式 工作 : 











° 持 有 AbsIntegerEncoder 的 Embeddedchanne1 将 会 以 4 字 节 的 负 整 数 的 
形式 写 出 站 数据 ; 

。 编码 器 将 从 传 入 的 ByteBuf 中 读 取 每 个 负 整 数 ， 并 将 会 调 
用 Math.abs() 方 法 来 获取 其 绝对 值 ; 

。 编码 器 将 会 把 每 个 负 整 数 的 绝对 值 写 到 channelPipeline 中 。 


图 9-3 展 示 了 该 逻辑 。 





AbsTntegerincoder 








图 9-3 ”通过 AbsIntegerEncoder 编 码 


代码 清单 9-3 实 现 了 这 个 逻辑 ， 如 图 9-3 所 示 。encode() 方 法 将 把 产 
生 的 值 写 到 一 个 List 中 。 


代码 清单 9-3 AbsIntegerEncoder 


public class AbsIntegerEncoder extends 
MessageToMessageEncoder<ByteBuf> 一 

MessageToMessageEncoder 以 将 一 个 消息 编码 为 另外 一 种 格式 
@Override 


== 扩展 

















protected void encode(ChannelHandlerContext channelHandlerContext 
ByteBuf in, List<Object> out) throws Exception { 
I[..\tu\p45-2.tif{25}](/api/storage/getbykey/original? 
key=17058221f3a645320473) 
while (in.readableBytes() >= 4) { ~ -- 检查 是 否 有 足够 的 字 节 用 来 编码 
int value = Math.abs(in.readiInt()); - -- 从 输入 的 
ByteBuf 中 读 取 下 一 个 整数 ， 并 且 计 算 其 绝对 值 
out ,add(value); ~- -- 将 该 整数 写 入 到 编码 消息 的 List 中 
} 














代码 清单 9-4 使 用 了 Embeddedchannel 来 测试 代码 。 
代码 清单 9-4 测试 AbsIntegerEncoder 


public class AbsIntegerEncoderTest { 
@Test 
public void testEncoded() { 





ByteBuf buf = Unpooled.buffer(); =- -- @él—ByteBuf, 
并 且 写 入 9 个 负 整 数 
for (int i = 1; i < 10; i++) 4 
buf.writeInt(i * -1); 
} 


EmbeddedChannel channel = new EmbeddedChannel( ~ -- 四 创建 
一 个 Embeddedchanne1， 并 安装 一 个 要 测试 的 AbsIntegerEncoder 
new AbsIntegerEncoder()); 














assertTrue(channel.writeOutbound(buf ) ); - -- OSA 
ByteBuf， 并 断言 调用 readoutbound() 方 法 将 会 产生 数据 

assertTrue(channel.finish()); =- -- @i%Channel 
标记 为 已 完成 状态 


// read bytes 
for (int i = 1; i < 10; i++) { -~ -- 和 回 读 取 所 产生 的 消息 ， 并 断言 
它们 包含 了 对 应 的 绝对 值 


assertEquals(i, channel.readOutbound()); 





assertNull(channel.readOutbound() ); 


} 
} 

下 面 是 代码 中 执行 的 步骤 。 

O 将 4 字 节 的 负 整 数 写 到 一 个 新 的 ByteBuf 中 。 

ð 创建 一 个 Embeddedchanne1l， 并 为 它 分 配 一 
个 AbsIntegerEncoder。 

© 调用 Embeddedchanne1L 上 的 writeoutbound() 方 法 来 写 入 该 
ByteBuf。 


O 标记 该 channel 为 已 完成 状态 。 


@ ”从 Embeddedchannel1 的 出 站 端 读 取 所 有 的 整数 ， 并 验证 是 否 只 产 
生 了 绝对 值 。 


9.3 测试 异常 处 理 





应 用 程序 通常 需要 执行 比 转换 数据 更 加 复杂 的 任务 。 例 如 ， 你 可 能 
需要 处 理 格式 不 正确 的 输入 或 者 过 量 的 数据 。 在 下 一 个 示例 中 ， 如 果 所 


读 取 的 字 节 数 超 出 了 茶 个 特定 的 限制 ， 我 们 将 会 抛 出 一 
个 TooLongFrameException。 这 是 一 种 经 常用 来 防范 资源 被 耗 尽 的 方法 。 


在 图 9-4 中 ， 最 大 的 帧 大 小 已 经 被 设置 为 3 字 节 。 如 果 一 个 帧 的 大 小 
超出 了 该 限制 ， 那 么 程序 将 会 丢弃 它 的 字 节 ， 并 抛 出 一 
个 TooLongFrameException。 位 于 channelPipeline 中 的 其 他 
channelHandler 可 以 选择 在 exceptioncaught() 方 法 中 处 理 该 异常 或 者 忽 
HEE o 
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9-4 通过 FramechunkDecoder 解 码 


其 实现 如 代码 清单 9-5 所 示 。 


代码 清单 9-5 ”FramechunkDecoder 


public class FrameChunkDecoder extends ByteToMessageDecoder { s 
- p }EByteToMessage-Decoder 以 将 入 站 字 节 解码 为 消息 
private final int maxFrameSize; 














public FrameChunkDecoder(int maxFrameSize) { =- -- 指定 将 要 产 
生 的 帧 的 最 大 人 允许 大 小 
this.maxFrameSize = maxFrameSize; 
} 
@Override 


protected void decode(ChannelHandlerContext ctx, ByteBuf in, 
List<Object> out) throws Exception { 
int readableBytes = in.readableBytes(); 
if (readableBytes > maxFrameSize) { 
// discard the bytes =- -- 如 果 该 帧 太 大 ， 则 丢弃 它 并 抛 出 一 


“4sTooLongFrameException..... 
in.clear(); 
throw new TooLongFrameException(); 


} 

ByteBuf buf = in.readBytes(readableBytes); © -- n... Au, M 
ByteBuf 中 读 取 一 个 新 的 帧 

out.add(buf); - -- 将 该 帧 添加 到 解码 消息 的 List 中 





} 
“我 们 再 使 用 Embeddedchanne1 来 测试 一 次 这 段 代码 ， 如 代码 请 单 9-6 
所 示 。 
代码 清单 9-6 测试 FramechunkDecoder 


public class FrameChunkDecoderTest { 


@Test 
public void testFramesDecoded() { 
ByteBuf buf = Unpooled.buffer(); =- -- 创建 一 个 ByteBuf， 并 





向 它 写 入 9 FH 
for (int i = 0; i < 9; i++) { 
buf .writeByte(1); 


ByteBuf input = buf.duplicate(); 


EmbeddedChannel channel = new EmbeddedChannel ( 
new FrameChunkDecoder(3)); 一 se 创建 一 个 
Embeddedchanne1I， 并 向 其 安装 一 个 帧 大 小 为 3 字 节 
的 FixedLengthFrameDecoder 
assertTrue(channel.writeInbound(input.readBytes(2))); < - 
- 向 它 写 入 2 字 节 ， 并 断言 它们 将 会 产生 一 个 新 帧 
try { 
channel.writeInbound(input.readBytes(4)); = -- 写 入 一 个 
4 字 节 大 小 的 帧 ， 并 捕获 预期 的 TooLongFrameEXxception 
Assert.fail(); -= -- 如 果 上 面 没有 抛 出 异常 ， 那 么 就 会 到 达 这 个 断 
言 ， 并 且 测 试 失败 
} catch (TooLongFrameException e) { 
// expected exception 
} 


assertTrue(channel.writeInbound(input.readBytes(3))); < - 
- 写 入 剩余 的 2 字 节 ， 并 断言 将 会 产生 一 个 有 效 帧 
assertTrue(channel.finish()); - -- 将 该 Channel 标记 为 已 完 











// Read frames =- -- 读 取 产 生 的 消 轧 ， 并 且 验 证 值 
ByteBuf read = (ByteBuf) channel.readInbound(); 





assertEquals(buf.readSlice(2), read); 
read.release(); 


read = (ByteBuf) channel. readInbound(); 
assertEquals(buf.skipBytes(4).readSlice(3), read); 
read.release(); 

buf.release(); 


乍 一 看 ， 这 看 起 来 非常 类 似 于 代码 清单 9-2 中 的 测试 ， 但 是 它 有 一 
个 有 趣 的 转折 点 ， 即 对 TooLongFrameException 的 处 理 。 这 里 使 用 的 
try/catch 块 是 Embeddedchannel 的 一 个 特殊 功能 。 如 果 其 中 一 个 write* 
方法 产生 了 一 个 受 检查 的 Exception， 那 么 它 将 会 被 包装 在 一 
个 RuntimeException 中 并 抛 出 出 。 这 使 得 可 以 容易 地 测试 出 一 
个 Exception 是 人 否 在 处 理 数据 的 过 程 中 已 经 被 处 理 了 。 


这 里 介绍 的 测试 方法 可 以 用 于 任何 能 抛 出 Exception 的 


channelHandler 实 现 。 


9.4 ”小结 





使 用 JUnit 这 样 的 测试 工具 来 进行 单元 测试 是 一 种 非常 行 之 有 效 的 方 
式 ， 它 能 保证 你 的 代码 的 正确 性 并 提高 它 的 可 维护 性 。 在 本 章 中 ， 你 学 
习 了 如 何 使 用 Netty 提 供 的 测试 工具 来 测试 你 自 定义 的 channelHandler。 


在 接 下 来 的 章节 中 ， 我 们 将 专注 于 使 用 Netty 编 写真 实 世 界 的 应 用 
程序 。 我 们 不 会 再 提供 任何 进一步 的 测试 代码 示例 了 ， 所 以 我 们 希望 你 
将 这 里 所 展示 的 测试 方法 的 重要 性 牢记 于 心 。 














U 需要 注意 的 是 ， 如 果 该 类 实现 了 exceptioncaught() 方 法 并 处 理 了 该 
异常 ， 那 么 它 将 不 会 被 catch 块 所 捕获 。 





ay R as 


网 络 只 将 数据 看 作 是 原始 的 字 节 序列 。 然 而 ， 我 们 的 应 用 程序 则 会 
把 这 些 字 节 组 织 成 有 意义 的 信息 。 在 数据 和 网 络 字 节 流 之 间 做 相互 转换 
是 最 常见 的 编程 任务 之 一 。 例 如 ， 你 可 能 需要 处 理 标 准 的 格式 或 者 协议 
(如 FTP 或 Telnet) 、 实 现 一 种 由 第 三 方 定 义 的 专 有 二 进 制 协议 ， 或 者 
扩展 一 种 由 自己 的 组 织 创 建 的 遗留 的 消息 格式 。 


将 应 用 程序 的 数据 转换 为 网 络 格式 ， 以 及 将 网 络 格 式 转换 为 应 用 程 
序 的 数据 的 组 件 分 别 叫 作 编码 器 和 解码 器 ， 同 时 具有 这 两 种 功能 的 单一 
组 件 叫 作 编 解码 器 。Netty 提 供 了 一 系列 用 来 创建 所 有 这 些 编码 器 、 解 
人 码 右 以 及 编 解 码 器 的 工具 ， 从 专门 为 知名 协议 (如 HTTP 以 及 Base64) 
ee 


第 10 章 介绍 了 编码 器 和 解码 器 。 通 过 学 习 一 些 典型 的 用 例 ， 你 将 学 
习 到 Netty 的 基本 的 编 解 码 器 类 。 当 学 习 这 些 类 是 如 何 融入 整体 框架 的 
时 候 ， 你 将 会 发 现 构 建 它 们 的 API 和 你 学 过 的 那些 API 一 样 ， 所 以 你 马 
上 就 能 使 用 它们 。 


在 第 11 章 中， 将 探索 一 些 Netty 为 处 理 一 些 更 加 专业 的 场景 所 提供 
的 编码 右 和 解码 右 。 关 于 WebSocket 的 那 一 节 是 最 有 意思 的 ， 同 时 它 也 
将 为 第 三 部 分 中 关于 高 级 网 络 协议 的 详细 讨论 做 好 准备 。 

















第 10 章 ” 编 解 码 需 框架 


本 章 主要 内 容 


。 RAS as. Amit as DA Se Bit AAS a AY IS 
。 Netty 的 纺 解 码 需 类 


号 像 很 多 标准 的 架构 模式 都 被 各 种 专用 框架 所 支持 一 样 ， 和 常见 的 数 
据 处 理 模 式 往往 也 是 目标 实现 的 很 好 的 候选 对 象 ， 它 可 以 节省 开 及 人 员 
大 量 的 时 间 和 精力 。 


当然 这 也 适应 于 本 章 的 主题 : 编码 和 解码， 或 者 数据 从 一 种 特定 协 
议 的 格式 到 另 一 种 格式 的 转换 。 这 些 任 务 将 由 通常 称 为 编 解码 器 的 组 件 
来 处 理 。Netty 提 供 了 多 种 组 件 ， 简 化 了 为 了 支持 广泛 的 协议 而 创建 自 
定义 的 编 解 码 器 的 过 程 。 例 如 ， 如 果 你 正在 构建 一 个 基于 Netty 的 邮件 
服务 器 ， 那 么 你 将 会 发 现 Netty 对 于 编 解码 器 的 支持 对 于 实现 POP3、 
IMAP 和 SMTP 协 议 来 说 是 多 么 的 宝贵 。 


10.1 什么 是 编 解码 器 





每 个 网 络 应 用 程序 都 必须 定义 如 何 解 析 在 两 个 节点 之 间 来 回 传输 的 
原始 字 节 ， 以 及 如 何 将 其 和 目标 应 用 程序 的 数据 格式 做 相互 转换 。 这 种 
转换 迎 辑 由 编 解 码 嚣 处理 ， 编 解码 器 由 编码 右 和 解码 器 组 成 ， 它 们 每 种 
都 可 以 将 字 节 流 从 一 种 格式 转换 为 另 一 种 格式 。 那 么 它们 的 区 别 是 什么 
呢 ? 


如 宁 将 消 奶 看 作 是 对 于 特定 的 应 用 程序 具有 具体 会 义 的 结构 化 的 字 
节 序 列 一 一 它 的 数据 。 那 么 编码 器 是 将 消 恩 转换 为 适合 于 传输 的 格式 
《最 有 可 能 的 就 是 字 节 流 ) ， 而 对 应 的 解码 器 则 是 将 网 络 字 节 流 转换 回 
应 用 程序 的 消 明 格式 。 因 此， 编码 右 操 作出 站 数据 ， 而 解码 絮 处 理 入 站 














数据 。 


记 住 这 些 背 景 信息 ， 接 下 来 让 我 们 研究 一 下 Netty 所 提供 的 用 于 实 
现 这 两 种 组 件 的 类 。 


10.2 ”解码 器 


在 这 一 市 中 ， 我 们 将 研究 Netty 所 提供 的 解码 器 类 ， 并 提供 关于 何 
时 以 及 如 何 使 用 它们 的 具体 示例 。 这 些 类 覆盖 了 两 个 不 同 的 用 例 : 





。 将 字 节 解码 为 消息 
ReplayingDecoder; 


。 将 一 种 消息 类 型 解码 为 另 一 种 


因为 解码 器 是 负责 将 入 站 数据 从 一 种 格式 转换 到 男 一 种 格式 的 ， 所 
以 知道 Netty 的 解码 器 实现 了 channelInboundHandler 也 不 会 让 你 感到 意 
外 。 


ByteToMessageDecoder fil 








MessageToMessageDecoder 。 


tT PRS FS BRAS AS ee? 很 简单 : 每 当 需 要 为 channelPipeline 中 
的 下 一 个 channeL-InboundHandler 转 换 入 站 数据 时 会 用 到 。 上 此外， 得 益 
于 channelPipeline 的 设计 ， 可 以 将 多 个 解码 器 链接 在 一 起 ， 以 实现 任意 
复杂 的 转换 逻辑 ， 这 也 是 Netty 是 如 何 支 持 代 码 的 模块 化 以 及 复 用 的 一 
个 很 好 的 例子 。 


10.2.1 抽象 类 ByteToMessageDecoder 


将 字 节 解码 为 消 轧 《或 者 另 一 个 字 节 序列 ) 是 一 项 如 此 常见 的 任 
务 ， 以 至 于 Netty 为 它 提供 了 一 个 抽象 的 基 类 : ByteToMessageDecoder。 
由 于 你 不 可 能 知道 远程 节点 是 否 会 一 次 性 地 发 送 一 个 完整 的 消 且 ， 所 以 
这 个 类 会 对 入 站 数据 进行 缓冲 ， 直 到 它 准 备 好 处 理 。 表 10-1 解 释 了 它 最 
重要 的 两 个 方法 。 








表 10-1 ByteToMessageDecoder API 





decode( 这 是 你 必须 实现 的 唯一 抽象 方法 。 ueceue0) 方 法 被 调用 时 将 会 传 入 一 个 包含 了 

eer ree PR 以 及 一 个 用 来 添加 解码 消息 的 List。 对 这 个 方法 的 调用 将 会 

人 重复 进行 ， ESIC AREA AMET 或 者 该 eytesur 中 没有 更 多 可 
List<Object> out) 读 取 的 字 节 时 为 止 。 如 果 该 ist 不 为 空 ， 那 么 它 的 内 容 将 会 被 传递 给 


ChannelPipeline 中 的 下 一 个 ehannelinbouridHandler 















































decodeLast ( Netty 提 供 的 这 个 默认 实现 只 是 简 单 地 调用 下 decode() 方 法 。 当 cnamnel 的 状态 变 为 








cnannelhandlercontextl 非 活动 时 ， 这 个 方法 将 会 被 调用 一 次 。 可 以 重 写 该 方法 以 提供 特殊 的 处 理 钙 
ctx 


ByteBuf in, 
List<Object> out) 











下 面 举 一 个 如 何 使 用 这 个 类 的 示例 ， 假 设 你 接收 了 一 个 包含 简 
单 int 的 字 节 流 ， 每 个 int 都 需要 被 单独 处 理 。 在 这 种 情况 下 ， 你 需要 从 
入 站 ByteBuf 中 读 取 每 个 int， 并 将 它 传递 给 channelPipeline 中 的 下 一 
个 channelInboundHandler。 为 了 解码 这 个 字 节 流 ， 你 要 扩 - 
展 ByteToMessageDecoder 类 。 “需要 注意 的 是 ， 原 始 类 型 的 int 在 被 添加 
到 List 中 时 ， 会 被 自动 装 箱 为 Integer。 ) 


该 设计 如 网 10-1 所 示 。 
每 次 从 入 站 ByteBuf 中 读 取 4 字 节 ， 将 其 解码 为 一 个 int， 然 后 将 它 


添加 到 一 个 List 中 。 当 没有 更 多 的 元 素 可 以 被 添加 到 该 List 中 时 ， 它 的 
内 容 将 会 被 发 送 给 下 一 个 channel-InboundHandler。 








Channel Pipeline 


ChannelInboundHandler 


ToIntegerDecoder 


入 站 ByteBuf 包含 解码 Integer 的 List 





图 10-1 ToIntegerDecoder 
代码 清单 10-1 展 示 了 ToIntegerDecoder 的 代码 。 


代码 清单 10-1 ToIntegerDecoder 类 扩展 了 ByteToMessageDecoder 


public class ToIntegerDecoder extends ByteToMessageDecoder { = 
- ”扩展 ByteToMessage-Decoder 类 ， 以 将 字 节 解码 为 特定 的 格式 
@Override 
public void decode(ChannelHandlerContext ctx, ByteBuf in, 
List<Object> out) throws Exception { 
if (in.readableBytes() >= 4) { - -- 检查 是 否 至 少 有 4 字 节 可 读 
(一 个 int 的 字 节 长 度 ) 
out.add(in.readInt()); < -- 从 入 站 ByteBuf 中 读 取 一 个 
int， 并 将 其 添加 到 解码 消息 的 List 中 
} 


} 





虽然 ByteToMessageDecoder 使 得 可 以 很 简单 地 实现 这 种 模式 ， 但 是 
你 可 能 会 发 现 ， 在 调用 readInt() 方 法 前 不 得 不 验证 所 输入 的 ByteBuf 是 
否 具 有 足够 的 数据 有 点 繁琐 。 在 下 一 节 中 ， 我 们 将 讨论 


ReplayingDecoder, 它 是 一 个 特殊 的 解码 器 ， 以 少量 的 开销 消除 了 这 个 
步骤 。 


须 解 码 带 中 的 引用 计数 





正如 我 们 在 第 5 草 和 第 6 章 中 所 提 到 的 ， 引 用 计数 需要 特别 的 注 
意 。 对 于 编码 器 和 解码 器 来 说 ， 其 过 程 也 是 相当 的 简单 : LY 
被 编码 或 者 解码 ， ‘EL WL Ref er enceCountUtil.release(message) 
WHH A PEM UMRI i AR ES | FEA Ja A, AB a A 
用 ReferencecountuUtil.retain(message) 方 法 。 这 将 会 增加 该 引用 


计数 ， 从 而 防止 该 消息 被 释放 。 
10.2.2 ”抽象 类 ReplayingDecoder 


ReplayingDecoder 扩 展 了 ByteToMessageDecoder 类 〈 如 代码 清单 10-1 
BRAN) ， 使 得 我 们 不 必 调 用 readableBytes() 方 法 。 它 通过 使 用 一 个 自 定 
义 的 ByteBuf 实 现 ，ReplayingDecoderByteBuf， 包 装 传 入 的 ByteBuf 实 现 
了 这 一 点 ， 其 将 在 内 部 执行 该 调用 馈 。 


这 个 类 的 完整 声明 是 : 
public abstract class ReplayingDecoder<S> extends ByteToMessageDe 


类 型 参数 s 指 定 了 用 于 状态 管理 的 类 型 ， 其 中 void 代表 不 需要 状态 
管理 。 代 码 清单 10-2 展 示 了 基于 ReplayingDecoder 重 新 实现 的 


ToIntegerDecoder . 





代码 清单 10-2 ToIntegerDecoder22e4 JE f ReplayingDecoder 


public class ToIntegerDecoder2 extends ReplayingDecoder<Void> { 
- ”扩展 Replaying-Decoder<Void> 以 将 字 节 解码 为 消息 
@Override 
public void decode(ChannelHandlerContext ctx, ByteBuf in, 
- -- 传 入 的 ByteBuf #ReplayingDecoderByteBuf 
List<Object> out) throws Exception { 
out.add(in.readInt()); ~ -- 从 入 站 ByteBuf 中 读 取 一 个 jnt， 并 
将 其 添加 到 解码 消息 的 List 中 


} 
t 





和 之 前 一 样 ， 从 ByteBuf 中 提取 的 int 将 会 被 添加 到 List 中 。 如 果 没 
有 足够 的 字 节 可 用 ， 这 个 readInt() 方 法 的 实现 将 会 抛 出 一 个 ErrorDl， 
其 将 在 基 类 中 被 捕获 并 处 理 。 当 有 更 多 的 数据 可 供 读 取 时 ， 该 decode() 
方法 将 会 被 再 次 调用 。 (参见 表 10-1 中 关于 decode() 方 法 的 描述 。) 


请 注意 ReplayingDecoderByteBuf 的 下 面 这 些 方面 : 


。 并 不 是 所 有 的 ByteBuf 操 作 都 被 文 持 ， 如 采 调 用 了 一 个 不 被 文 持 的 
FE, 将 会 抛 出 一 个 unsupportedoperationException; 
° ReplayingDecoder 稍 慢 于 ByteToMessageDecoder。 


如 果 对 比 代 码 清 单 10-1 和 代码 清单 10-2， 你 会 发 现 后 者 明显 更 简 
单 。 示 例 本 身 是 很 基本 的 ， 所 以 请 记 住 ， 在 真实 的 、 更 加 复杂 的 情况 
下 ， 使 用 一 种 或 者 另 一 种 作为 基 类 所 带 来 的 差异 可 能 是 很 显著 的 。 这 里 
有 一 个 简单 的 准则 : 如 果 使 用 ByteToMessageDecoder 不 会 引入 太 多 的 复 
杂 性 ， 那 么 请 使 用 它 ; 否则 ， 请 使 用 ReplayingDecoder。 


更 多 的 解码 带 








下 面 的 这 些 类 处 理 更 加 复杂 的 用 例 : 








° io.netty.handler .codec.LineBasedFrameDecoder 这 个 类 在 
Netty 内 部 也 有 使 用 ， 它 使 用 了 行 尾 控 制 字 符 (\n 或 者 \r\n) 来 
解析 消息 数据 ; 

° io.netty.handler.codec.http.HttpObjectDecoder = 
HTITP 数 据 的 解码 器 。 


在 io.netty,.handler.codec 子 包 下 面 ， 你 将 会 发 现 更 多 用 于 特 
定 用 例 的 编码 器 和 人 解码 器 实现 。 更 多 有 关 信 息 参 见 Netty 的 


Javadoc。 
10.2.3 ”抽象 类 MessageToMessageDecoder 
在 这 一 节 中 ， 我 们 将 解释 如 何 使 用 下 面 的 抽象 基 类 在 两 个 消息 格式 


之 间 进 行 转换 例如， 从 一 种 POJO 类 型 转换 为 男 一 种 ): 


public abstract class MessageToMessageDecoder<I> 
extends ChannelInboundHandlerAdapter 


”类型 参数 I 指定 了 decode() 方 法 的 输入 参数 msg 的 类 型 ， 它 是 你 必须 
实现 的 唯一 方法 。 表 10-2 展 示 了 这 个 方法 的 详细 信息 。 





表 10-2 MessageToMessageDecoder API 





decode( XI F BE i EAS A PERA AER, PATTIES 3 OH AA o 
ChannelHandlerContext 解码 消 上 县 随后 会 被 传递 给 ChannelPipeline 中 的 下 一 个 cnannelinboundhandler 

wags Eo 

List<Object> out) 




















EXARH, RIA A IntegerToStringDecoder fi 14 455K 
pP H&MessageTo-MessageDecoder<Integer>. 它 的 decode() 方 法 会 把 


Integer 参 数 转换 为 它 的 String 表示 ， 并 将 拥有 下 列 签 名 : 


public void decode( ChannelHandlerContext ctx, 
Integer msg, List<Object> out ) throws Exception 


和 之 前 一 样 ， 解 码 的 string 将 被 添加 到 传 出 的 List 中 ， 并 转发 给 下 一 


4S ChannelInboundHandler 


该 设计 如 图 10-2 所 示 。 


ChannelPipeline 


Channel InboundHandler 


IntegerToStringDecoder 


入 站 Integer 包含 解码 String 的 List 





图 10-2 IntegerToStringDecoder 
代码 清单 10-3 给 出 了 IntegerToStringDecoder 的 实现 。 
代码 清单 10-3 ”IntegerToStringDecoder 类 


public class IntegerToStringDecoder extends 
MessageToMessageDecoder<Integer> { =- -- 扩展 了 
MessageToMessageDecoder<Integer> 
@Override 
public void decode(ChannelHandlerContext ctx, Integer msg 
List<Object> out) throws Exception { 
out .add(String.valueOf(msg)); =- -- 将 Integer 消息 转换 为 它 的 
String 表示 ， 并 将 其 添加 到 输出 的 List 中 
} 
} 


HttpObjectAggregator 


有 关 更 加 复杂 的 例子 ， 请 研 


#io.netty.handler.codec.http.HttpObjectAggregator2k, 它 扩 展 
J MessageToMessageDecoder<HttpObject>. 


10.2.4 ToolLongFrameException2< 


由 于 Netty 是 一 个 异步 框架 ， 所 以 需要 在 字 节 可 以 解码 之 前 在 内 存 
中 缓冲 它们 。 因 此 ， 不 能 让 解码 器 绥 冲 大 量 的 数据 以 至 于 耗 尽 可 用 的 内 
存 。 为 了 解除 这 个 常见 的 顾虑 ，Netty 提 供 了 TooLongFrameException 
类 ， 其 将 由 解码 器 在 帧 超出 指定 的 大 小 限制 时 抛 出 。 


为 了 避免 这 种 情况 ， 你 可 以 设置 一 个 最 大 字 市 数 的 闷 值 ， 如 果 超 出 
iZ BJE, 则 会 导致 抛 出 一 个 TooLongFrameException (随后 会 被 
ChannelHandler .exceptioncaught() 方 法 捕获 ) 。 然 后 ， 如 何人 处 理 该 异 
常 则 完全 取决 于 该 解码 器 的 用 户 。 某 些 协议 (如 HTTP〉 可 能 允许 你 返 
加 二 企 符 殊 的 响应 。 而 在 其 他 的 情况 下 ， 叭 一 的 选择 可 能 就 是 关闭 对 应 
IE FF o 


代码 清单 10-4 展 示 了 ByteToMessageDecoder 是 如 何 使 
用 TooLongFrameException 来 通知 channelPipeline 中 的 其 他 
channelHandler 发 生 了 帧 大 小 溢出 的 。 需 要 注意 的 是 ， 如 果 你 正在 使 用 
一 个 可 变 帧 大 小 的 协议 ， 那 么 这 种 保护 措施 将 是 尤为 重要 的 。 


代码 清单 10-4 TooLongFrameException 








public class SafeByteToMessageDecoder extends ByteToMessageDecode 
- ”扩展 ByteToMessageDecoder 以 将 字 节 解码 为 消息 
private static final int MAX_FRAME_SIZE = 1024; 
@Override 
public void decode(ChannelHandlerContext ctx, ByteBuf in, 
List<Object> out) throws Exception { 
int readable = in.readableBytes(); 
if (readable > MAX_FRAME_SIZE) { - -- 检查 缓冲 区 中 是 否 
有 超过 MAX_FRAME_SIZE 个 字 节 
in.skipBytes(readable);  -- 跳 过 所 有 的 可 读 字 节 ， 抛 出 
TooLongFrame-Exception 并 通知 channelHandler 
throw new TooLongFrameException("Frame too big!"); 








// do something 





到 目前 为 止 ， 我们 已 经 探讨 了 解码 器 的 常规 用 例 ， 以 及 Netty 所 提 

供 的 用 于 构建 它们 的 抽象 基 类 。 但 是 解码 器 只 是 硬币 的 一 面 。 硬 币 的 另 

一 面 是 编码 器 ， 它 将 消息 转换 为 适合 于 传 出 传输 的 格式 。 这 些 编码 器 完 
备 了 编 解 码 器 API， 它 们 将 是 我 们 的 下 一 个 主题 。 


10.3 ”编码 器 





回顾 一 下 我 们 先前 的 定义 ， 编 码 右 实现 了 
channeloutboundHandler， 并 将 出 站 数据 从 一 种 格式 转换 为 号 一 种 格 
式 ， 和 我 们 方才 学 习 的 解码 器 的 功能 正好 相反 。Netty 提 供 了 一 组 类 ， 
用 于 帮助 你 编写 具有 以 下 功能 的 编码 需 





。 将 消息 编码 为 字 节 ; 
。 将 消息 编码 为 消息 多 。 


我 们 将 首先 从 抽象 基 类 MessageToByteEncoder 开 始 来 对 这 些 类 进行 
考察 。 


10.3.1 抽象 类 MessageToByteEncoder 

前 面 我 们 看 到 了 如 何 使 用 ByteToMessageDecoder 来 将 字 节 转换 为 消 
忌 。 现 在 我 们 将 使 用 MessageToByteEncoder 来 做 逆 回 的 事情 。 表 10-3 展 
示 了 该 API。 


表 10-3 MessageToByteEncoder API 








encode() 方 法 是 你 需要 实现 的 唯一 抽象 方法 。 它 被 调用 时 将 会 传 入 要 被 该 类 编 
| en (类 型 为 : 人 出 站 消息 。 该 eytegufr 随 后 将 会 被 转发 给 channelpipeline 中 


el0utboundHandle 























你 可 能 已 经 注意 到 了 ， 这 个 类 只 有 一 个 方法 ， 而 解码 器 有 两 个 。 原 
因 是 解码 器 通常 需要 ee oy a ARO MAS CA Hatt 








有 了 decodeLast() 方 法 ) 。 这 显然 不 适用 于 编码 器 的 场景 一 一 在 连接 被 
KA ZV EMA ESIC MA 


图 10-3 展 示 了 shortToByteEncoder， 其 接受 一 个 Short 类 型 的 实例 作 
为 消息 ， 将 它 编码 为 short 的 原始 类 型 值 ， 并 将 它 写 入 ByteBuf 中 ， 其 将 
随后 被 转发 给 channelPipeline 中 的 下 一 个 channeloutboundHandler。 每 
个 传 出 的 short 值 都 将 会 占用 ByteBuf 中 的 2 字 节 。 


ShortToByteEncoder 的 实现 如 代码 清单 10-5 所 示 。 





代码 清单 10-5 ShortToByteEncoder 类 


public class ShortToByteEncoder extends MessageToByteEncoder<Shor 
- 4 fe SMessageToByteEncoder 
@Override 


public void encode(ChannelHandlerContext ctx, Short msg, ByteBuf 
throws Exception { 
out.writeShort(msg); =- -- 将 Short 写 入 ByteBuf 中 


Netty 提 供 了 一 些 专 门 化 的 MessageToByteEncoder， 你 可 以 基于 它们 
实现 自己 的 编码 器 。 Websocket08FrameEncoder 类 提供 了 一 个 很 好 的 实 
例 。 你 可 以 在 io.netty.handler. codec.http.websocketx 包 中 找到 它 。 


ChannelPipeline 


ChannelOutboundHandler 


ShortToByteEncoder 


出 站 Short 出 站 ByteBuf 





图 10-3 ShortToByteEncoder 
10.3.2 ”抽象 类 MessageToMessageEncoder 


你 已 经 看 到 了 如 何 将 入 训 数 据 欠 一 种 浓 电 格式 解 各 鸭 为 一 种 ， 为 了 
这 幅 图 ， 我 们 将 展示 对 于 出 站 数据 将 如 何 从 一 种 消息 编码 为 男 一 
ri MessageToMessageEncoder 类 的 encode() 方 法 提供 了 这 文 种 人 BA, WK 
10-4 所 示 。 


表 10-4 MessageToMessageEncoder API 











这 是 你 需要 实现 的 唯一 方法 。 ee sd i 
eranneinanddercontens|frcade o AIA; LAA — DME SH. Bia, A HH AYE ERE 
发 给 ChannelPipeline 中 的 下 一 个 | ChanneloutboundHandler 


msg, 
List<Object> out) 





为 了 演示 ， 代码 清单 10-6 使 用 IntegerTostringEncoder 扩 展 了 
MessageToMessage-Encoder。 其 设计 如 图 10-4 所 示 。 


ChannelPipeline 


ChannelOutboundHandler 


IntegerToStringEncoder 


ti wi Integer 包含 编码 String 的 List 





图 10-4 IntegerToStringEncoder 


如 代码 清单 10-6 所 示 ， 编 码 器 将 每 个 出 站 Integer 的 string 表 示 添 加 
到 J 该 List 中 é 


代码 清单 10-6 IntegerToStringEncoderZe 


public class IntegerToStringEncoder 
extends MessageToMessageEncoder<Integer> { - -- 扩展 了 
MessageToMessageEncoder 
@Override 
public void encode(ChannelHandlerContext ctx, Integer msg 
List<Object> out) throws Exception { 


out.add(String.valueOf (msg) ); =- =- Integer 转换 为 
String， 并 将 其 添加 到 List 中 


} 
关于 有 趣 的 MessageToMessageEncoder 的 专业 用 法 ， 请 查 


看 io.netty.handler. codec .protobuf.ProtobufEncoder 类 ， 它 处 理 了 由 
Google 的 Protocol Buffers 规 范 所 定义 的 数据 格式 。 


10.4 抽象 的 编 解 码 器 类 


虽然 我 们 一 直 将 解码 器 和 编码 器 作为 单独 的 实体 讨论 ， 但 是 你 有 时 
将 会 发 现在 同一 个 类 中 管理 入 站 和 出 站 数据 和 消息 的 转换 是 很 有 用 的 。 
Netty 的 抽象 编 解 码 器 类 正好 用 于 这 个 目的 ， 因 为 它们 每 个 都 将 捆绑 一 
个 解码 器 /编码 器 对 ， 以 处 理 我 们 一 直 在 学 习 的 这 两 种 类 型 的 操作 。 正 
如 同 你 可 能 己 经 猜想 到 的 ， 这 些 类 同 时 实现 了 channelInboundHandler 和 和 
channeloutboundHandler 接 口 。 


为 什么 我 们 并 没有 一 直 优先 於 单独 的 解码 右 和 编码 器 使 用 这 些 复合 
KRME? 因为 通过 尽 可 能 地 将 这 两 种 功能 分 开 ， 最 大 化 了 代码 的 可 重用 性 
和 可 扩展 性 ， 这 是 Netty 设 计 的 一 个 基本 原则 。 


在 我 们 查看 这 些 抽 象 的 编 解码 占 类 时 ， 我 们 将 会 把 它们 与 相应 的 单 
独 的 解码 颖 和 编码 费 进 行 比 较 和 参照 。 


10.4.1 抽象 类 ByteToMessageCodec 


让 我 们 来 研究 这 样 的 一 个 场景 : 我 们 需要 将 字 节 解码 为 某 种 形式 的 
消息 ， 可 能 是 POJO， 随 后 再 次 对 它 进 行 编码 。ByteToMessagecodec 将 为 
我 们 处 理 好 这 一 切 ， 因 为 它 结 合 了 ByteToMessageDecoder 以 及 它 的 赣 回 
MessageToByteEncoder。 表 10-5 列 出 了 其 中 重要 的 方法 。 


任何 的 请 求 /响应 协议 都 可 以 作为 使 用 ByteToMessagecodec 的 理想 选 
择 。 例 如 ， 在 某 个 SMTP 的 实现 中 ， 编 解码 器 将 读 取 传 入 字 市 ， 并 将 它 
们 解码 为 一 个 目 定 义 的 消息 类 型 ， 如 smtpRequest 巧 。 而 在 接收 端 ， 当 
一 个 响应 被 创建 时 ， 将 会 产生 一 个 smtpResponse， 其 将 被 编码 回 字 节 以 
便 进 行 传输 。 














表 10-5 ByteToMessageCodec API 





方法 名 称 fii 述 


REA FATA BAB, PTTL IC aS BOA. CRAN eyeeaur 转 换 为 指定 






































的 消 息 格 式 ’ 并 将 其 转 发 给 channelpipeline 中 的 下 一 个 channelrznboundhandler 








decodeLast ( 这 个 方法 的 默认 实现 委托 给 了 auecoue0) 方 法 。 它 只 会 在 oamez 的 状态 变 为 非 活动 


ee ee ee eae 
ByteBuf in, 
List<Object> out) 





encode( 对 于 每 个 将 被 编码 并 写 入 出 站 eyeeeur 的 〈 类 型 为 z 的 ) 消息 来 说 ， 这 个 方法 都 





ChannelHandlerContext 将 会 被 调 用 
ctx, 


I msg, 
ByteBuf out) 





10.4.2 ”抽象 类 MessageToMessageCodec 


在 10.3.1 节 中 ， 你 看 到 了 一 个 扩展 了 MessageToMessageEncoder 以 将 
一 种 消息 格式 转换 为 另外 一 种 消息 格式 的 例子 。 通 过 使 
用 MessageToMessagecodec， 我 们 可 以 在 一 个 单个 的 类 中 实现 该 转换 的 往 
返 过 程 。MessageToMessagecodec 是 一 个 参数 化 的 类 ， 和 定义 如 下 : 


public abstract class MessageToMessageCodec<INBOUND_IN, OUTBOUND_I 
表 10-6 列 出 了 其 中 重要 的 方法 。 


7210-6 MessageToMessageCodec 的 方法 


protected abstract 这 个 方法 被 调 用 时 会 被 传 入 INBOUND_IN 类 型 的 消 wv 将 把 它们 解码 为 oureouno_m 
decode( 类 型 的 消 BA 9 这 些 消 息 将 被 转发 给 channelpipeline 中 的 下 一 个 cnannel- InboundHandler 


ChannelHandlerContext 














r 
INBOUND_IN msg, 
List<Object> out) 


protected abstract [XT F EEA oureoum_m 类 型 的 消 轧 ， 这 个 方法 都 将 会 被 调用 。 这 些 消息 将 会 被 编码 
encode( 为 zeouvo_m 关 型 的 消 息 9 然后 被 转发 给 ehannelPipeiine 中 的 Sites Ana 


ChannelHandlerContext 





r 
OUTBOUND_IN msg, 
List<Object> out) 





decode() 方 法 是 将 INBOUND_IN 类 型 的 消息 转换 为 0uUTBOUND_IN 类 型 的 
消息 ， 而 encode() 方 法 则 进行 它 的 赣 同 操作 。 将 INBouND_IN 类 型 的 消息 
看 作 是 通过 网 络 发 送 的 类 型 ， 而 将 ouTBouND_IN 类 型 的 消息 看 作 是 应 用 
程序 所 处 理 的 类 型 ， 将 可 能 有 所 神 益 则 。 








BAXA Se HAG ae FH BEA ERA eR 但 是 它 所 处 理 的 用 例 却 是 
相当 常见 的 ， 在 两 种 不 同 的 消息 API 之 间 来 掉头 换 数据 。 当 我 们 不 得 不 
ee ae ee ee berate 我 们 经 常会 遇 到 这 

员工 \。 


WebSocket 协 议 


下 面 关 于 MessageToMessagecodec 的 示例 引用 了 一 个 新 出 的 
WebSocket 协 议 ， 这 个 协议 能 实现 Web 浏 览 医 和 服务 器 之 间 的 全 双 
癌 通 信 。 我 们 将 在 第 12 音 中 详细 地 讨论 Netty 对 于 WebSocket 的 文 
持 。 


代码 清单 10-7 展 示 了 这 样 的 对 话 包 可 能 的 实现 方式 。 我 们 的 
WebSocketconvertHandler 在 参数 化 MessageToMessageCcodec 时 将 使 
用 INBOUND_IN 类 型 的 websocketFrame， 以 及 0UTBOUND_IN 类 型 的 
MyWebSocketFrame, Je EWebSocketConvertHandler AF H]AA HK 


BE 
代码 清单 10-7 使 用 MessageToMessageCodec 


public class WebSocketConvertHandler extends 
MessageToMessageCodec<WebSocketFrame, 
WebSocketConvertHandler .MyWebSocketFrame> { 
@Override 
protected void encode(ChannelHandlerContext ctx, ~ -- 将 
MyWebSocketFrame 编码 为 指定 的 WebSocketFrame 子 类 型 
WebSocketConvertHandler .MywebSocketFrame msg, 
List<Object> out) throws Exception { 
ByteBuf payload = msg.getData().duplicate().retain(); 
switch (msg.getType()) { = -- 实例 化 一 个 指定 子 类 型 的 
WebSocketFrame 
case BINARY: 
out.add(new BinaryWebSocketFrame(payload) ); 
break; 
case TEXT: 
out.add(new TextWebSocketFrame(payload) ); 
break; 
case CLOSE: 
out.add(new CloseWebSocketFrame(true, ©, payload)); 
break; 
case CONTINUATION: 





out.add(new ContinuationWebSocketFrame( payload) ); 
break; 

case PONG: 
out.add(new PongwWebSocketFrame(payload) ); 
break; 

case PING: 
out.add(new PingWebSocketFrame(payload) ); 
break; 

default: 
throw new IllegalStateException( 

"Unsupported websocket msg " + msg); 


} 
@Override 


protected void decode(ChannelHandlerContext ctx, WebSocketFrame m 
- WebSocketFrame 解码 为 MyWebSocketFrame， 并 设置 FrameType 
List<Object> out) throws Exception { 
ByteBuf payload = msg.content().duplicate().retain(); 
if (msg instanceof BinaryWebSocketFrame) { 
out.add(new MyWebSocketFrame( 
MyWebSocketFrame.FrameType.BINARY, payload)); 





} else 
if (msg instanceof CloseWebSocketFrame) { 
out.add(new MyWebSocketFrame ( 
MyWebSocketFrame.FrameType.CLOSE, payload) ); 
} else 
if (msg instanceof PingWebSocketFrame) { 
out.add(new MyWebSocketFrame ( 
MyWebSocketFrame.FrameType.PING, payload)); 
} else 
if (msg instanceof PongWebSocketFrame) { 
out.add(new MyWebSocketFrame ( 
MyWebSocketFrame.FrameType.PONG, payload)); 
} else 
if (msg instanceof TextWebSocketFrame) { 
out.add(new MyWebSocketFrame ( 
MyWebSocketFrame.FrameType.TEXT, payload)); 
} else 
if (msg instanceof ContinuationWebSocketFrame) { 
out.add(new MyWebSocketFrame ( 


MyWebSocketFrame.FrameType.CONTINUATION, payload) ); 
} else 
{ 
throw new IllegalStateException( 
"Unsupported websocket msg " + msg); 


} 


public static final class MyWebSocketFrame { e -- 声明 
WebSocketconvertHandler 所 使 用 的 0UTBOUND_IN 类 型 
public enum FrameType { — -- 定义 拥有 被 包装 的 有 效 负载 的 
WebSocketFrame 的 类 型 
BINARY, 














CONTINUATION 
J 


private final FrameType type; 
private final ByteBuf data; 


public MywebSocketFrame(FrameType type, ByteBuf data) { 
this.type = type; 
this.data = data; 

} 


public FrameType getType() { 
return type; 
} 


public ByteBuf getData() { 
return data; 
} 


} 
10.4.3 CombinedChannelDuplexHandler 类 


正如 我 们 前 面 所 提 到 的 ， 结 合 一 个 解码 器 和 编码 器 可 能 会 对 可 重用 
性 造成 影响 。 但 是 ， 有 一 种 方法 既 能 够 避免 这 种 惩罚 ， 又 不 会 牺牲 将 一 
个 解码 右 和 一 个 编码 器 作为 一 个 单独 的 单元 部 奢 所 融 来 的 便利 
性 。combinedchannelpuplexHandler 提 供 了 这 个 解决 方案 ， 其 声明 为 : 


public class CombinedChannelDuplexHandler 
<I extends ChannelInboundHandler, 
0 extends ChannelOutboundHandler> 


这 个 类 充当 了 channelInboundHandler 和 
ChanneloutboundHandler (该 类 的 类 型 参数 I 和 0) 的 容器 。 通 过 提供 分 


ANAK SARS ARR ASS ee ASA, RAT AKN SS Sas» TT 
AR 展 抽 象 的 编 解 码 器 类 。 我 们 将 在 下 面 的 示例 中 说 明 这 一 


Wyo 


首先 ， 让 我 们 研究 代码 清单 10-8 中 的 ByteTocharDecoder。 注 意 ， 访 
实现 扩展 了 ByteTo-MessageDecoder， 因 为 它 要 从 ByteBuf 中 读 取 字符 。 


代码 清单 10-8 ”ByteToCcharDecoder 类 


public class ByteToCharDecoder extends ByteToMessageDecoder { © 
- 扩展 了 ByteToMessageDecoder 
@Override 
public void decode(ChannelHandlerContext ctx, ByteBuf in, 
List<Object> out) throws Exception { 
while (in.readableBytes() >= 2) { =- -- 将 一 个 或 者 多 个 
Character 对 象 添加 到 传 出 的 List 中 
out.add(in.readChar()); 
} 





} 
} 


这 里 的 decode() 方 法 一 次 将 从 ByteBuf 中 提取 2 字 节 ， 并 将 它们 作 
为 char 写 入 到 List 中 ， 其 将 会 被 自动 装 箱 为 character 对 象 。 


代码 清单 10-9 包 含 了 charToByteEncoder， 它 能 将 character 转 换 回 
字 节 。 这 个 类 扩 展 了 MessageToByteEncoder， 因为 它 需 要 将 char 消 息 编 
码 到 ByteBuf 中 。 这 是 通过 直接 写 入 ByteBuf 做 到 的 。 


代码 清单 10-9 charToByteEncoder 类 








public class CharToByteEncoder extends 
MessageToByteEncoder<Character> { -=  -- 扩展 了 
MessageToByteEncoder 
@Override 
public void encode(ChannelHandlerContext ctx, Character msg, 
ByteBuf out) throws Exception { 
out.writeChar(msg); ~ -- 将 Character 解码 为 char， 并 将 其 写 入 到 
出 站 ByteBuf 中 
} 


t 





既然 我 们 有 了 解码 器 和 编码 器 ， 我 们 将 会 结合 它们 来 构建 一 个 编 解 
码 器 。 代 码 清 单 10-10 展 示 了 这 是 如 何 做 到 的 。 


代码 清单 10-10 CombinedChannelDuplexHandler<I, 0> 
public class CombinedByteCharCodec extends 


CombinedChannelDuplexHandler<ByteToCharDecoder, CharToByteEncoder 
通过 该 解码 器 和 编码 器 实现 参数 化 combinedByteCharCodec 
public CombinedByteCharCodec() { 
super(new ByteToCharDecoder(), new CharToByteEncoder()); 
— -- 将 委托 实例 传递 给 父 类 
} 


Í 





正如 你 所 能 看 到 的 ， 在 某 些 情况 下 ， 通 过 这 种 方式 结合 实现 相对 于 
使 用 编 解码 絮 类 的 方式 来 说 可 能 更 加 的 简单 也 更 加 的 灵活 。 当 然 ， 这 可 
能 也 归结 于 个 人 的 偏好 问题 。 


10.5 小结 





在 本 章 中 ， 我 们 学 习 了 如 何 使 用 Netty 的 编 解码 器 API 来 编写 解码 器 
和 编码 器 。 你 也 了 解 了 为 什么 使 用 这 个 API 相 对 于 直接 使 
用 channelHandlerAPI 更 好 。 


你 看 到 了 抽象 的 编 解 码 器 类 是 如 何 为 在 一 个 实现 中 处 理解 码 和 编码 
提供 支持 的 。 如 果 你 需要 更 大 的 灵活 性 ， 或 者 希望 重用 现 有 的 实现 ， 那 
么 你 还 可 以 选择 结合 他 们 ， 而 无 需 扩 展 任 何 抽象 的 编 解码 器 类 。 


在 下 一 章 中 ， 我 们 将 讨论 作为 Netty 框 架 本 吴 的 一 部 分 的 
atch ene Ne age ER DE Oe ae 
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[1] 比如 用 来 产生 一 个 LastHttpcontent 消 息 。 一 一 译 者 注 
[2] 指 调用 readableBytes() 方 法 。 一 一 译 者 注 


[3] 这 里 实际 上 抛 出 的 是 一 个 signal， 详 见 io.netty.util,.Ssignal 类 。 
一 一 译 者 注 


[4] 男 外 一 种 格式 的 消息 。 一 一 译 者 注 


[5] 位 于 基于 Netty 的 SMTP/LMTP 客 户 端 项 目 中 
(https://github.com/normanmaurer/niosmtp) 。 一 一 译 者 注 


[6] 即 有 助 于 理解 这 两 个 类 型 签名 的 实际 意义 。 一 一 译 者 注 
[7] 指 Web 浏 览 器 和 服务 器 之 间 的 双 同 通信 。 一 一 译 者 注 





311 ” 预 置 的 ChannelHandler 和 编 解 公 器 


本 章 主要 内 容 


。 通过 SSL/TLS 保 护 Netty 应 用 程序 

构建 基于 Netty 的 HTTP/HTTPS 应 用 程序 
处 理 空 闲 的 连接 和 超时 

解码 基于 分 隔 符 的 协议 和 基于 长 度 的 协议 
写 大 型 数据 


Netty 为 许多 通用 协议 提供 了 编 解 码 器 和 处 理 器 ， 几 乎 可 以 开 箱 即 
用 ， 这 减少 了 你 在 那些 相当 繁琐 的 事务 上 本 来 会 花费 的 时 间 与 精力 。 在 
本 章 中 ， 我 们 将 探讨 这 些 工 具 以 及 它们 所 带 来 的 好 处 ， 其 中 包括 Netty 
对 于 SSL/TLS 和 WebSocket 的 支持 ， 以 及 如 何人 简单 地 通过 数据 压缩 来 压 
榨 HTTP， 以 获取 更 好 的 性 能 。 


11.1 通过 SSL/TLS 保 护 Netty 应 用 程序 


如 今 ， 数 据 隐私 是 一 个 非常 值得 关注 的 问题 ， 作 为 开 肥 人 员 ， 我 们 
需要 准备 好 应 对 它 。 至 少 ， 我 们 应 该 熟悉 像 SSL 和 TLS 山 这 样 的 安全 协 
X, EMBERED E, HAKMAR E. RIEN H ZEW 
站 时 遇 到 过 这 些 协议 ， 但 是 它们 也 可 用 于 其 他 不 是 基于 HITP 的 应 用 程 
序 ， 如 安全 SMTP (SMTPS) 邮件 服务 器 甚至 是 关系 型 数据 库 系 统 。 


为 了 支持 SSL/TLS，Java 提 供 了 javax.net.ssl 包 ， 它 的 SSLContext 
和 ssLEngine 类 使 得 实现 解密 和 加 密 相 当 简 单 直 接 。Netty 通 过 一 个 名 
为 sslHandler 的 channelHandler 实 现 利 用 了 这 个 API， 其 中 sslHandler 在 
内 部 使 用 ssLEngine 来 完成 实际 的 工作 。 


图 11-1 展 示 了 使 用 sslHandler 的 数据 流 。 


Netty 的 OpenSSL/SSLEngine 实 现 


Netty 还 提供 了 使 用 OpenSSL 工 有 具 \ 包 (www.openssl.org) 的 
ssLEngine 实 现 。 oo Engine 类 提供 了 比 JDK 提 供 的 
SSLEngine 实 现 更 好 的 性 能 


如 果 openssL 库 可 用 ， 可 以 将 Netty 应 用 程序 〈 客 户 端 和 服务 
器 ) 配置 为 默认 使 用 opensslEngine。 如 果 不 可 用 ， Netty 将 会 回 退 
到 JDK 实 现 。 有 关 配 置 openssL 支 持 的 详细 说 明 ， 参 见 Netty 文 
档 : http://netty.io/wiki/forked-tomcat-native.html#wikih2-1 。 


注意 ， 无 论 你 使 用 JDK 的 SsLEngine 还 是 使 用 Netty 的 
OpenSslEngine, SSL API 和 数据 流 都 是 一 致 的 。 


图 11-1 通过 sslhandler 进 行 解 密 和 加 密 的 数据 流 


代码 清单 11-1 展 示 了 如 何 使 用 channelInitializer 来 将 SslHandler 
添加 到 channel- Pipeline 中 。 回 想 一 下 ，channelInitializer 用 于 
在 channel 注 册 好 时 设置 channel- Pipeline. 


代码 清单 11-1 添加 SSL/TLS 支 持 


public class SslChannelInitializer extends ChannelInitializer<Cha 
{ 

private final SslContext context; 

private final boolean startTls; 





public SslChannelInitializer(SslContext context, - -- N 
要 使 用 的 SslContext 
boolean startTls) { ~- -- 如 果 设 置 为 true， 第 一 个 写 入 的 消息 将 不 


会 被 加 密 〈 客 户 端 应 该 设置 为 true ) 
this.context = context; 
this.startTls = startTls; 





} 


@Override 
protected void initChannel(Channel ch) throws Exception { 
SSLEngine engine = context.newEngine(ch.alloc()); - - 
- ”对 于 每 个 SslHandler ”实例 ， 都 使 用 channel 的 ByteBuf-Allocator 从 
Sslcontext 获取 一 个 新 的 SSLEngine 
ch.pipeline().addFirst("ssl", 
new SslHandler(engine, startTls)); - -- 将 
SslHandler 作为 第 一 个 channelHandler 添加 到 ChannelPipeline 中 


} 
} 


在 大 多 数 情 况 下 ，sslHandler 将 是 channelPipeline 中 的 第 一 
个 channelHandler。 这 确保 了 只 有 在 所 有 其 他 的 channelHandler 将 它们 
的 逻辑 应 用 到 数据 之 后 ， 才 会 进行 加 密 。 


sslHandler 具 有 一 些 有 用 的 方法 ， 如 表 11-1 所 示 。 例 如 ， 在 握手 阶 
段 ， 两 个 节点 将 相互 验证 并 且 商 定 一 种 加 和 密 方 式 。 你 可 以 通过 配 
置 sslHandler 来 修改 它 的 行为 ， 或 者 在 SSL/TLS 握 手 一 旦 完成 之 后 提供 
通知 ， 握 手 阶 段 完 成 之 后 ， 所 有 的 数据 都 将 会 被 加 密 。SSL/TLS 握 手 将 
会 被 自动 执行 。 


表 11-1 SslHandler 的 方法 


setHandshakeTimeout (long,TimeUnit) 设置 和 获取 超时 时 fal, 超时 之 后 ， 握手 channelFuture 将 会 被 通知 


setHandshakeTimeoutMillis (long) Ky 
getHandshakeTimeoutMillis() > 





setCloseNotifyTimeout (long, Timeunit) 设置 和 获取 超时 时 间 ， 超 时 之 后 ， 将 会 触发 一 个 关闭 通知 并 
setCloseNotifyTimeoutMillis (long) 关 闭 puree A 这 也 将 会 导致 通知 A channelFuture 失 败 


igetCloseNotifyTimeoutMillis() 











handshakeFuture() 返回 一 个 在 握手 完成 后 将 会 得 到 通知 的 channeiFuture。 如 果 握 手 
先前 已 经 执行 过 了 ， 则 返回 一 个 包含 了 先前 的 握手 结果 的 


ChannelFuture 

















close() 发 送 close_notify 以 请 求 关 闭 IEF j 毁 底 层 的 sslengine 


close(ChannelPromise 
iclose(ChannelHandlerContext, ChannelPromise) 





11.2 构建 基于 Netty 的 HTTP/HTTPS 应 用 程序 


HTTP/HTTPS 是 最 常见 的 协议 套件 之 一 ， 并 且 随 着 智能 手机 的 成 
功 ， 它 的 应 用 也 日 益 广泛 ， 因 为 对 于 任何 公司 来 说 ， 拥 有 一 个 可 以 被 移 
动 设备 访问 的 网 站 几乎 是 必须 的 。 这 些 协议 也 被 用 于 其 他 方面 。 许 多 组 
织 导 出 的 用 于 和 他 们 的 商业 合作 伙伴 通信 的 WebService API 一 般 也 是 基 
于 HTTP (S) 的 。 


接 下 来 ， 我 们 来 看 看 Netty 提 供 的 channelHandler， 你 可 以 用 它 来 处 
理 HTTP 和 HTTPS 协 议 ， 而 不 必 编 写 自 定义 的 编 解 码 器 。 


11.2.1 HTTP 解 码 器 、 编 码 器 和 编 解 码 器 


HTTP 是 基于 请 求 / 啊 应 模式 的 : 客户 端 癌 服务 器 发 送 一 个 HTTP 请 
求 ， 然 后 服务 器 将 会 返回 一 个 HITP 响 应 。Netty 提 供 了 多 种 编码 器 和 解 
码 器 以 简化 对 这 个 协议 的 使 用 。 图 11-2 和 图 11-3 分 别 展示 了 生产 和 消费 
HTTP 请 求 和 HTTP 响 应 的 方法 。 











HTTP 请 求 的 第 一 个 部 分 完整 的 HTTP 请 求 
包含 7HTTP 的 头 部 信息 





FullHttpRequest 
HTTPContent 包 含 了 数据 ， 后 面 可 能 LastHttpContent 标 记 了 该 HTTP 请 求 
还 跟着 一 个 或 者 多 个 HttpContent 部 分 的 结束 ， 可 能 还 包含 了 尾随 的 HTTP 


\ 
头 部 信息 


图 11-2 HTTP 请 求 的 组 成 部 分 


1 Lt tpkesponse 


Pulli 
AttoResponse | | Httoontent |) kttpConten 
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图 11-3” HTTP 响应 的 组 成 部 分 


如 图 11-2 和 图 11-3 所 示 ， 一 个 HTTP 请 求 /响应 可 能 由 多 个 数据 部 分 
组 成 ， 并 且 它 总 是 以 一 个 LastHttpcontent 部 分 作为 结 
束 。FullHttpRequest 和 FullHttpResponse 消 息 是 特殊 的 子 类 型 ， 分 别 代 
表 了 完整 的 请 求 和 响应 。 所 有 类 型 的 HTTP 消 息 
(FullHttpRequest、LastHttpcontent 以 及 代码 清单 11-2 中 展示 的 那 
些 ) 都 实现 了 Httpobject 接 口 。 


表 11-2 概 要 地 介绍 了 处 理 和 生成 这 些 消息 的 HITP 解 码 右 和 编码 
Air 0 


4211-2 HTTPS AS Ala tS at 


将 HttpRequest、 Httpcontent 和 LastHttpcontent 消 息 编 人 码 为 字 节 
将 HttpResponse、 ee 息 编码 为 字 节 


















































2> 

HttpRequestDecoder 将 字 节 解码 为 HttpRequest Httpcontent Fi LastHttpcontent Y} 息 
二 

HttpResponseDecoder 将 学 节 解码 为 HttpResponse uttpcontent AU Lastuttpcontent H BAB 


代码 清单 11-2 中 的 HttpPipelineInitializer 类 展示 了 将 HTTP 支 持 
添加 到 你 的 应 用 程序 是 多 么 简单 一 一 几乎 只 需要 将 正确 的 
channelHandler 添 加 到 channelPipeline 中 。 


代码 清单 11-2 ”添加 HTTP 支 持 


public class HttpPipelineInitializer extends ChannelInitializer<C 
private final boolean client; 











public HttpPipelineInitializer(boolean client) { 
this.client = client; 
} 


@Override 
protected void initChannel(Channel ch) throws Exception { 
ChannelPipeline pipeline = ch.pipeline(); 
if (client) { z -- 如 果 是 客户 端 ， 则 添加 
HttpResponseDecoder 以 处 理 来 自 服务 器 的 响应 




















pipeline.addLast("decoder", new HttpResponseDecoder()); 


pipeline.addLast("encoder", new HttpRequestEncoder()); e = 
- ”如 果 是 客户 端 ， 则 添加 HttpRequestEncoder 以 向 服务 器 发 送 请 求 
} else { 





pipeline.addLast("decoder", new HttpRequestDecoder()); < -- 如 
果 是 服务 器 ， 则 添加 HttpRequestDecoder 以 接收 来 自 客户 端的 请 求 





pipeline.addLast("encoder", new HttpResponseEncoder()); = -- 如 
果 是 服务 器 ， 则 添加 HttpResponseEncoder 以 向 客户 端 发 送 响 应 
} 
} 
} 
11.2.2 AAHTTP SE 


在 channelInitializer 将 channelHandler 安 装 到 channelPipeline 中 
之 后 ， 你 ' 便 可 以 处 理 个 同 闫 型 的 httpobject 消 已 了 。 但 是 由 于 HTTP 的 
HER ALY A f EE 由 许多 部 分 组 成 ， 因 此 你 需要 聚合 它们 以 形成 完整 的 消 
息 。 为 了 消除 这 项 繁琐 的 任务 ，Netty 提 供 了 一 个 聚合 器 ， 它 可 以 将 多 
个 消息 部 了 分 合并 为 FuLLHttpRequest 或 者 FuLlLIHttpResponse 消 息 。 通过 这 


样 的 方式 ， 你 将 总 是 看 到 完整 的 消息 内 容 。 


由 于 消息 分 段 需 要 被 缓冲 ， 直 到 可 以 转发 一 个 完整 的 消息 给 下 一 
个 channelInbound-Handler， 所 以 这 个 操作 有 轻微 的 开销 。 其 所 带 来 的 
好 处 便 是 你 不 必 关 心 消 妃 碎片 了 。 


引入 这 种 自动 聚合 机 制 只 不 过 是 heng i eg 外 一 
个 channelHandler 轩 了 。 代 码 清单 11-3 展 示 了 如 何 做 到 这 一 点 。 


代码 清单 11-3 ” 目 动 聚合 HTTP 的 消息 片段 


public class HttpAggregatorInitializer extends ChannelInitializer 
private final boolean isClient; 








public HttpAggregatorInitializer(boolean isClient) { 
this.isClient = isClient; 
} 


@Override 
protected void initChannel(Channel ch) throws Exception { 
ChannelPipeline pipeline = ch.pipeline(); 
if (isClient) { 
pipeline.addLast("codec", new HttpClientCodec()); - - 
- “如 果 是 客户 端 ， 则 添加 HttpCLientCcodec 
} else { 
pipeline.addLast("codec", new HttpServerCodec()); - - 
- 如 果 是 服务 器 ， 则 添加 HttpServerCodec 
} 
pipeline.addLast("aggregator", 
new HttpObjectAggregator(512 * 1024)); =- -- 将 最 大 的 消 
HAV) A512 KB 的 Http0bjectAggregator 添加 到 ChannelPipeline 


} 
} 
11.2.3 HTTP% 

当 使 用 HTTP 时 ， 建 议 打 开 压缩 功 能 以 尽 可 能 多 地 减 小 传输 数据 的 
大 小 。 虽 然 压 缩 会 弄 来 一 些 CPU 时 钟 周 期 上 的 开销 ， 但 是 通 第 来 说 它 都 
是 一 个 好 主意 ， 特 别 是 对 于 文本 数据 来 说 。 


Netty J 4a FU A a He HE J ChannelHandlier SKIL, “EMMA 3c 
持 gzip 和 deflate 编 码 。 

















HTTP is KA abs 





ee Poi FY AE Se BEF SK Ms SORTS AS ARS a’ AT SCF KY Js 
AGFA TL: 


GET /encrypted-area HTTP/1.1 
Host: www.example.com 
Accept-Encoding: gzip, deflate 


然而 ， 需 要 注意 的 是 ， 服 务 器 没有 义务 压缩 它 所 发 送 的 数据 。 
代码 清单 11-4 展 示 了 一 个 例子 。 





代码 清单 11-4 自动 压缩 HITP 消 息 


public class HttpCompressionInitializer extends ChannelInitialize 
private final boolean isClient; 


public HttpCompressionInitializer(boolean isClient) { 
this.isClient = isClient; 
} 


@Override 

protected void initChannel(Channel ch) throws Exception { 
ChannelPipeline pipeline = ch.pipeline(); 
if (isClient) { 


pipeline.addLast("codec", new HttpClientCodec()); - -- Re 
客户 端 ， 则 添加 HttpCLientCcodec 
pipeline.addLast("decompressor", 
new HttpContentDecompressor()); — -- 如 果 是 客户 端 ， 则 
添加 HttpContentDecompressor 以 处 理 来 自 服务 器 的 压缩 内 容 
} else { 
pipeline.addLast("codec", new HttpServerCodec()); - - 
- ”如 果 是 服务 器 ， 则 添加 HttpServerCodec 
pipeline.addLast("compressor", 




















new HttpContentCompressor()); =- -- 如 果 是 服务 器 ， 则 添加 
HttpContentCompressor 来 压缩 数据 〈 如 果 客 户 端 支持 它 ) 
} 
} 
} 
压缩 及 其 依赖 


如 果 你 正在 使 用 的 是 JDK ” 6 或 者 更 早 的 版 本 ， 那 么 你 需要 将 
JZlib (www.jcraft.conyjzlib/〉 添 加 到 CLASSPATH 中 以 支持 压缩 功 


HE o 
对 于 Maven， 请 添加 以 下 依赖 项 : 


<dependency> 
<groupId>com. jcraft</groupId> 
<artifactId>jzlib</artifactId> 
<version>1.1.3</version> 
</dependency> 


11.2.4 ”使 用 HTTPS 


代码 清单 11-5 显 示 ， 启 用 HTTPS 只 需要 将 sslHandler 添 加 
至 JchannelPipeline 的 ChannelHandler 组 合 中 。 


代码 清单 11-5 ”使 用 HTTPS 


public class HttpsCodecInitializer extends ChannelInitializer<Cha 
private final SslContext context; 
private final boolean isClient; 


public HttpsCodecInitializer(SsilContext context, boolean isClien 
this.context = context; 
this.isClient = isClient; 


} 


@Override 
protected void initChannel(Channel ch) throws Exception { 
ChannelPipeline pipeline = ch.pipeline(); 
SSLEngine engine = context.newEngine(ch.alloc()); 
pipeline.addFirst("ssl", new SslHandler(engine) ); - - 
- %SslHandler 添加 到 channelPipeline 中 以 使 用 HTTPS 


if (isClient) { 
pipeline.addLast("codec", new HttpClientCodec()); - - 
- ”如 果 是 客户 端 ， 则 添加 HttpClientCodec 
} else { 
pipeline.addLast("codec", new HttpServerCodec()); - - 
- ”如 果 是 服务 器 ， 则 添加 HttpServerCodec 
} 
} 


前 面 的 代码 是 一 个 很 好 的 例子 ， 说 明了 Netty 的 架构 方式 是 如 何 将 
代码 重用 变 为 杠杆 作用 的 。 只 需要 简单 地 将 一 个 channelHandler 添 加 
到 channelPipeline 中 ， 便 可 以 提供 一 项 新 功能 ， 甚 至 像 加 密 这 样 重 要 的 
功能 都 能 提供 。 


11.2.5 WebSocket 


Netty 针 对 基于 HTTP 的 应 用 程序 的 广泛 工具 包 中 包括 了 对 它 的 一 些 
最 先进 的 特性 的 支持 。 在 这 一 市 中 ， 我 们 将 探讨 WebSocket 一 一 一 种 在 








2011 年 被 互联 网 工程 任务 组 (IETF) 标准 化 的 协议 。 


WebSocket 解 决 了 一 个 长 期 存在 的 问题 : 既然 确 层 的 协议 HTTP) 
征 一 个 请 求 / 啊 应 模式 的 交互 序列 ， 那 么 如 何 实时 地 发 布 信息 呢 ? AJAX 
提供 了 一 定 程度 上 的 改善 ， 但 是 数据 流 仍然 是 由 客户 端 所 发 送 的 请 求 驱 
动 的 。 还 有 其 他 的 一 些 或 多 或 少 的 取 巧 方式 由， 但 是 最 终 它们 仍然 属于 
扩展 性 受 限 的 变通 之 法 。 


WebSocket 规 范 以 及 它 的 实现 代表 了 对 一 种 更 加 有 效 的 解决 方案 的 
尝试 。 简 单 地 说 ，WebSocket 提 供 了 “在 一 个 单个 的 TCP 连 接 上 提供 双 辣 
的 通信 ..……. 结合 WebSocket API...... 它 为 网 页 和 远程 服务 器 之 间 的 双 同 
通信 提供 了 一 种 替代 HTTP 轮 询 的 方案 。? 电 | 


也 就 是 说 ，WebSocket 在 客户 端 和 服务 器 之 间 提 供 了 真正 的 双向 数 
据 交换 。 我 们 不 会 深入 地 描述 太 多 的 内 部 细节 ， 但 是 我 们 还 是 应 该 提 
到 ， 尽 管 最 早 的 实现 仅 限于 文本 数据 ， 但 是 现在 已 经 不 是 问题 了 ; 
WebSocket 现 在 可 以 用 于 传输 任意 类 型 的 数据 ， 很 像 普通 的 套 接 字 。 























作为 普通 的 HTTP 协议 开始 ， 随 后 升级 到 双 辐 的 WebSocket 协 议 。 


要 想 向 你 的 应 用 程序 中 添加 对 于 WebSocket 的 支持 ， 你 需要 将 适当 
的 客户 端 或 者 服务 器 WebSocket channelHandler 添 加 到 channelPipeline 
中 。 这 个 类 将 处 理由 WebSocket 定 义 的 称 为 帧 的 特殊 消 轧 类 型 。 如 表 11- 
3 所 示 ，WwebsocketFrame 可 以 被 归 类 为 数据 帧 或 者 控制 帧 。 


O SPR MHTIP (9) 向 服务器 
Rpg (HTTP) 发 起 WebSocket 握 手 ， 并 等 竺 确认 “有 ae 
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图 11-4 WebSocket 协 议 


表 11-3” webSocketFrame 类 型 


数据 帧 ， 二 进 制 数据 





ContinuationwebSocketFrame 数据 帧 : 属于 上 一 个 BinarywebsocketFrame 或 者 Textweb- socketFrane 的 文本 的 或 者 二 
进 制 数据 


控制 帧 ， 一 个 aose 请 求 、 关 闭 的 状态 码 以 及 关闭 的 原因 
控制 帧 请 求 一 个 PongWebSocketFrame 
控制 帧 : 对 pingwebsocketFrame 请 求 的 响应 




















因为 Netty 主 要 是 一 种 服务 器 端的 技术 ， 所 以 在 这 里 我 们 重点 创建 
WebSocket 服 务 器 和 外。 代码 清单 11-6 展 示 了 一 个 使 
用 websocketserverProtocolHandler 的 简单 示例 ， 这 个 类 处 理 协议 升级 
握手 ， 以 及 3 种 控制 帧 一 一 close、Ping 和 Pong。Text 和 Binary 数 据 帧 将 
会 被 传递 给 下 一 个 (由 你 实现 的 ) channelHandler 进 行 处 理 。 


代码 清单 11-6 在 服务 器 端 文 持 WebSocket 
public class WebSocketServerInitializer extends ChannelInitialize 


@Override 
protected void initChannel(Channel ch) throws Exception { 
ch.pipeline().addLast( 
new HttpServerCodec(), 
new HttpObjectAggregator (65536), - -- 为 握手 提供 聚合 的 
HttpRequest 
new WebSocketServerProtocolHandler("/websocket"), = - 




















- ”如 果 被 请 求 的 端点 是 "/websocket"， 则 处 理 该 升级 握手 
































new TextFrameHandler(), ~- -- TextFrameHandler 处 理 
TextwebSocketFrame 
new BinaryFrameHandler(), =- -- BinaryFrameHandler 处 理 
BinaryWebSocketFrame 
new ContinuationFrameHandler()); =- - 




















- ContinuationFrameHandler 处 理 ContinuationwebSocketFrame 


} 


public static final class TextFrameHandler extends 
SimpleChannelInboundHandler<TextWebSocketFrame> { 
@Override 
public void channelReadO(ChannelHandlerContext ctx, 
TextWebSocketFrame msg) throws Exception { 
// Handle text frame 


} 


public static final class BinaryFrameHandler extends 
SimpleChannelInboundHandler<BinaryWwebSocketFrame> { 


@Override 
public void channelReadO(ChannelHandlerContext ctx, 


BinaryWebSocketFrame msg) throws Exception { 
// Handle binary frame 


} 


public static final class ContinuationFrameHandler extends 
SimpleChannelInboundHandler<ContinuationwebSocketFrame> { 


@Override 

public void channelReadO(ChannelHandlerContext ctx, 
ContinuationWebSocketFrame msg) throws Exception { 
// Handle continuation frame 


} 


要 想 为 WebSocket 添 加 安全 性 ， 只 需要 将 SslHandler 作 为 第 一 
个 channelHandler 添 加 到 channelPipeline 中 。 





更 加 全 面 的 示例 参见 第 12 章 ， 那 一 章 会 深入 探讨 实时 WebSocket 心 
用 程序 的 设计 。 


11.3 空闲 的 连接 和 超时 


到 目前 为 止 ， 我 们 的 讨论 都 集中 在 Netty 通 过 专门 的 编 解 码 器 和 处 
理 器 对 HTTP 的 变型 HTTPS 和 WebSocket 的 支持 上 。 只 要 你 有 效 地 管理 你 
的 网 络 资源 ， 这 些 技术 就 可 以 使 得 你 的 应 用 程序 更 加 高 效 、 易 用 和 安 
全 。 所 以 ， 让 我 们 一 起 来 探讨 下 首先 需要 关注 的 一 一 连接 管理 吧 。 

检测 空闲 连接 以 及 超时 对 于 及 时 释放 资源 来 说 是 至 关 重 要 的 。 由 于 
这 是 一 项 常见 的 任务 ，Netty 特 地 为 它 提供 了 几 个 channelHandler 实 现 。 
表 11-4 给 出 了 它们 的 概述 。 


表 11-4 ”用 于 空 闪 连接 以 及 超时 的 channelHandler 









































IdleStateHandler 当 连 接 空闲 时 间 大 长 时 ， 将 会 触发 一 个 rdlestateEvent 事 牛 。 然后 ， 你 可 以 通过 在 
你 的 channelInpoundHandler 中 重 写 userevent- Triggered( ) 方 法 来 处 理 该 islestateevent 事 件 


ReadtimeoutHandier | 中 如果 在 指定 的 时 间 间 陋 内 没有 收 到 任何 的 入 站 数据 ， 则 抛 出 一 个 kead- 
TimeoutException 并 天 闭 对 应 的 channel o 可 以 通过 重 写 你 HJ channelHandler 中 的 
exceptioncaught() 方 法 来 检测 该 Reau- TimeoutException 


WriteTimeoutHandler 如 果 在 指定 的 时 间 间 陋 内 没有 任何 出 站 数据 BIA, 则 抛 出 = Write- 
TimeoutException 并 关 闭 对 应 的 cnannel o 可 以 通过 重 写 你 的 channelHandler 的 exceptioncaught( ) 


方法 检测 该 writeTimeout - Exception 











让 我 们 仔细 看 看 在 实践 中 使 用 得 最 多 的 IdlestateHandler 吧 。 代 码 
清单 11-7 展 示 了 当 使 用 通常 的 发 送 心 跳 消 奶 到 远程 节点 的 方法 时 ， 如 果 
在 60 秒 之 内 没有 接收 或 者 发 送 任何 的 数据 ， 我 们 将 如 何 得 到 通知 ， 如 果 
没有 啊 应 ， 则 连接 会 被 关闭 。 
代码 清单 11-7 “发送 心跳 


public class IdleStateHandlerInitializer extends ChannelInitializ 








@Override 
protected void initChannel(Channel ch) throws Exception { 


ChannelPipeline pipeline = ch.pipeline(); 
pipeline.addLast( 





new IdleStateHandler(0, ©, 60, TimeUnit.SECONDS)); - - 
- @IdleStateHandler 将 在 被 触发 时 发 送 一 个 IdleStateEvent 事件 
pipeline.addLast(new HeartbeatHandler()); =- -- 将 一 个 
HeartbeatHandler 添 加 到 ChannelPipeline 中 
} 
public static final class HeartbeatHandler - -- 实现 





userEven t-Triggered( ) 方 法 以 发 送 心 跳 消 息 
extends ChannelInboundHandlerAdapter { 
private static final ByteBuf HEARTBEAT_SEQUENCE = - -- 发 
送 到 远程 节点 的 心跳 消息 
Unpooled.unreleasableBuffer (Unpooled.copiedBuffer ( 
"HEARTBEAT", CharsetUtil.ISO_8859 1)); 


@Override 
public void userEventTriggered(ChannelHandlerContext ctx, 
Object evt) throws Exception { 
if (evt instanceof IdleStateEvent) { =- -- 四 发 送 心 跳 消 
轧 ， 并 在 发 送 失 败 时 关闭 该 连接 
ctx.writeAndFlush(HEARTBEAT_SEQUENCE.duplicate( ) ) 
.addListener ( 
ChannelFutureListener .CLOSE_ON_FAILURE) ; 
} else { 
super .userEventTriggered(ctx, evt); - -- 不 是 
IdleSstateEvent 事 件 ， 所 以 将 它 传递 给 下 一 个 channel-InboundHandler 
} 
} 





这 个 示例 演示 了 如 何 使 用 IdlestateHandler 来 测试 远程 节点 是 否 仍 
然 还 活着 ， 并 且 在 它 失 活 时 通过 关闭 连接 来 释放 资源 。 


如 采 连 接 超 过 60 秒 没有 接收 或 者 发 送 任何 的 数据 ， 那 么 
IdlestateHandler@ 将 会 使 用 一 IdlestateEvent 事 件 来 调 
用 fireUserEventTriggered() 方 法 。HeartbeatHandler 实 现 了 
userEventTriggered() 方 法 ， 如 果 这 个 方法 检测 到 IdlestateEvent 事 
件 ， 它 将 会 发 送 心 中 消息， 并 且 添 加 一 个 将 在 发 送 操作 失败 时 关闭 该 连 


接 的 channelFutureListener@。 


11.4 解码 基于 分 隔 符 的 协议 和 基于 长 度 的 协议 








在 使 用 Netty 的 过 程 中 ， 你 将 会 过 到 需要 解码 器 的 基于 分 隅 符 和 帧 
长 度 的 协议 。 下 一 节 将 解释 Netty 所 提供 的 用 于 处 理 这 些 场景 的 实现 。 


11.4.1 基于 分 隔 符 的 协议 


基于 分 隔 符 的 (delimited)〉 消息 协议 使 用 定义 的 字符 来 标记 的 消息 
或 者 消息 段 (通常 被 称 为 帧 的 开 涉 或 者 结尾 。 由 RFC 文 档 正式 定义 的 
许多 协议 (如 SMTP、POP3、IMAP 以 及 Telnet 中 ) 都 是 这 样 的 。 此 外 ， 
当然 ， 私 有 组 织 通常 也 拥有 他 们 自己 的 专 有 格式 。 无 论 你 使 用 什么 样 的 
协议 ， 表 11-5 中 列 出 的 解码 器 都 能 帮助 你 定义 可 以 提取 由 任意 标记 
(token) 序列 分 隔 的 帧 的 自 定义 解码 器 。 


表 11-5 ”用 于 处 理 基 于 分 隅 符 的 协议 和 基于 长 度 的 协议 的 解码 器 











用 任何 由 用 户 提供 的 分 隔 符 来 提取 帧 的 通用 解码 器 





人 


DelimiterBasedFrameDecoder 





F11-5 EAN TST EPI SK E+ ERT FE) 分 隔 时 是 如 
何 被 处 理 的 。 





图 11-5 ”由 行 尾 符 分 阳 的 帧 


代码 清单 11-8 展 示 了 如 何 使 用 LineBasedFrameDecoder 来 处 理 图 11-5 
所 示 的 场景 。 


代码 清单 11-8 ”处 理由 行 尾 符 分 隔 的 帧 
public class LineBasedHandlerInitializer extends ChannelInitializ 
@Override 


protected void initChannel(Channel ch) throws Exception { 
ChannelPipeline pipeline = ch.pipeline(); 


pipeline.addLast(new LineBasedFrameDecoder(64 * 1024)); - - 





- 该 LineBasedFrame-Decoder 将 提取 的 帧 转发 给 下 一 个 channel- 
InboundHandler 

pipeline.addLast(new FrameHandler()); e -- 添加 
FrameHandler 以 接收 帧 


} 


public static final class FrameHandler 
extends SimpleChannelInboundHandler<ByteBuf> { 
@Override 
public void channelReadO(ChannelHandlerContext ctx, - - 
- 传 入 了 单个 帧 的 内 容 
ByteBuf msg) throws Exception { 
// Do something with the data extracted from the frame 


如 果 你 正在 使 用 除了 行 尾 符 之 外 的 分 隔 符 分 隔 的 帧 ， 那 么 你 可 以 以 
类 似 的 方式 使 用 pelLimiter-BasedFrameDecoder， 只 需要 将 特定 的 分 隔 符 


序列 指定 到 其 构造 浮 数 即 可 。 


这 些 解码 器 是 实现 你 目 己 的 基于 分 隅 符 的 协议 的 工具 。 作 为 示例 ， 
我 们 将 使 用 下 面 的 协议 规范 : 








传 入 数据 流 是 一 系列 的 帧 ， 每 个 帧 都 由 换行 符 〈\n) 分 隔 ; 
。 每 个 帧 都 由 一 系列 的 元 素 组 成 ， 每 个 元 素 都 由 单个 空格 字符 分 隔 
° Po 内 容 代表 一 个 命令 ， 定 义 为 一 个 命令 名 称 后 跟着 数目 可 变 


我 们 用 于 这 个 协议 的 目 定义 解码 器 将 定义 以 下 类 : 





© cmd 一 一 将 帧 (命令 ) 的 内 容 存 储 在 ByteBuf 中 ， 一 个 ByteBuf 用 于 名 
称 ， 男 一 个 用 于 参数 ; 
e CmdDecoder 从 被 重 写 了 的 decode() 方 法 中 获取 一 行 字符 串 ， 并 
从 它 的 内 容 构建 一 个 cmd 的 实例 ; 
e CmdHandler 一 一 从 cmdDecoder 获 取 解 码 的 cmd 对 象 ， 并 对 它 进 行 一 
些 处 理 ; 
为 了 简便 起 见 ， 我 们 将 会 把 前 面 的 这 


e CmdHandlerInitializer 
LEAR FE LAE! JWchannelinitializerNimE@R, FORA tee 











ChannelInboundHandler 224% #|ChannelPipeline}. 


正如 将 在 代码 清单 11-9 中 所 能 看 到 的 那样 ， 这 个 解码 需 的 关键 是 扩 


展 LineBasedFrame-Decoder。 


代码 清单 11-9 ”使 用 channelInitializer 安 装 解码 器 


public class CmdHandlerInitializer extends ChannelInitializer<Cha 
final byte SPACE = (byte)' '; 
@Override 
protected void initChannel(Channel ch) throws Exception { 
ChannelPipeline pipeline = ch.pipeline(); 





pipeline.addLast(new CmdDecoder(64 * 1024)); = -- 添加 
CmdDecoder 以 提取 Cmd 对 象 ， 并 将 它 转发 给 下 一 个 channelInboundHandler 

pipeline.addLast (new CmdHandler()); 一 -- 添加 
CmdHandler 以 接收 和 处 理 Cmd 对 象 

















t 


public static final class Cmd { ~ -- Cmd POJO 
private final ByteBuf name; 
private final ByteBuf args; 


public Cmd(ByteBuf name, ByteBuf args) { 
this.name = name; 
this.args = args; 


} 


public ByteBuf name() { 
return name; 
} 


public ByteBuf args() { 
return args; 
J 


public static final class CmdDecoder extends LineBasedFrameDecode 
public CmdDecoder(int maxLength) { 
super (maxLength) ; 


@Override 


protected Object decode(ChannelHandlerContext ctx, ByteBuf buffer 
throws Exception { 


ByteBuf frame = (ByteBuf) super.decode(ctx, buffer); 
- -- 从 ByteBuf HEH HTT EE Ae I oy Bi tt 
if (frame == null) { 
return null; -~ -- 如果 输 入 中 没有 帧 ， 则 返回 nu11 
} 


int index = frame.indexOf(frame.readerIndex(), - - 
- ”查找 第 一 个 空格 字符 的 索引 。 前 面 是 命令 名 称 ， 接 着 是 参数 
frame.writerIndex(), SPACE); 











return new Cmd(frame.slice(frame.readerIndex(), index), ~ -- 使 
用 包含 有 命令 名 称 和 参数 的 切片 创建 新 的 Cmd 对 象 


frame.slice(index + 1, frame.writerIndex())); 
} 





} 


public static final class CmdHandler 
extends SimpleChannelInboundHandler<Cmd> { 
@Override 


public void channelReadO(ChannelHandlerContext ctx, Cmd msg) 
throws Exception { 
// Do something with the command - -- 处理 传经 
ChannelPipelinefiicmd 对 象 


; 
} 














} 
11.4.2 ”基于 长 度 的 协议 

基于 长 度 的 协议 通过 将 它 的 长 度 编 码 到 帧 的 头 部 来 定义 帧 ， 而 不 是 
使 用 特殊 的 分 隔 符 来 标记 它 的 结束 。 鸟 表 11-6 列 出 了 Netty 提 供 的 用 于 处 
理 这 种 类 型 的 协议 的 两 种 解码 器 。 


表 11-6 ”用 于 基于 长 度 的 协议 的 解码 需 

















提取 在 调用 构造 函数 时 指定 的 定 长 由 











LengthFieldBasedFranepecoder| 根 据 编 码 进 帧 头 部 中 的 长 度 值 提取 帧 ， 该 字段 的 偏 移 量 以 及 长 度 在 构造 
函数 中 指定 

















图 11-6 展 示 了 FixedLengthFrameDecoder 的 功能 ， 其 在 构造 时 已 经 指 
定 了 帧 长 度 为 8 字 节 。 
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图 11-6 解码 长 度 为 8 字 市 的 帧 
你 将 经 和 会 遇 到 被 编码 到 消息 头 部 的 帧 大 小 不 是 固定 值 的 协议 。 为 
了 处 理 这 种 变 长 帧 ， 你 可 以 使 用 LengthFieLldBasedFrameDecoder， 它 将 
从 头 部 字段 确定 帧 长 ， 然 后 从 数据 流 中 提取 指定 的 字 节 数 。 


图 11-7 展 示 了 一 个 示例 ， 其 中 长 度 字段 在 帧 中 的 偏 移 量 为 0， 并 且 
KESZ T. 

















图 11-7 ”将 变 长 帧 大 小 编码 进 头 部 的 消息 


er 提供 了 几 个 构造 函数 来 文 持 各 种 各 


LengthFieldBasedFrameDecod 
样 的 头 部 配置 情况 。 代 码 清单 11-10 展 示 了 如 何 使 用 其 3 个 构造 参数 分 别 


AlmaxFrameLength, lengthField-offset #lllengthFieldLengthit) #4) ia PKI 
Blo FEIK My H, WKE BU WEL RG HB TS AF 


代码 清单 11-10 (EH LengthFieldBasedFrameDecoder fit f4 ane T KEE AY 
协议 


public class LengthBasedInitializer extends ChannelInitializer<Ch 
@Override 
protected void initChannel(Channel ch) throws Exception { 
ChannelPipeline pipeline = ch.pipeline(); 
pipeline.addLast( = -- 使 用 
LengthFieldBasedFrameDecoder 解码 将 帧 长 度 编码 到 帧 起 始 的 前 8 个 字 节 中 的 消 





new LengthFieldBasedFrameDecoder(64 * 1024, ©, 8)); 
pipeline.addLast(new  FrameHandler()); -< -- 添加 
FrameHandler 以 处 理 每 个 帧 
} 


public static final class FrameHandler 
extends SimpleChannelInboundHandler<ByteBuf> { 
@Override 
public void channelRead@(ChannelHandlerContext ctx, 
ByteBuf msg) throws Exception { 
// Do something with the frame - -- 处 理 帧 的 数据 
} 






































} 
} 


你 现在 已 经 看 到 了 Netty 提 供 的 ， 用 于 支持 那些 通过 指定 协议 帧 的 
分 隔 符 或 者 长 度 《〈 固 定 的 或 者 可 变 的 ) 以 定义 字 节 流 的 结构 的 协议 的 编 
解码 左 。 你 将 会 发 现 这 些 编 解 码 句 的 许多 用 途 ， 因 为 许多 的 第 见 协议 都 
落 到 了 这 些 分 类 之 一 中 。 


11.5” 写 大 型 数据 


因为 网 络 饱 和 的 可 能 性 ， 如 何在 异步 框 染 中 高 效 地 写 大 块 的 数据 是 
一 个 特殊 的 问题 。 由 于 写 操作 是 非 阻塞 的 ， 所 以 即使 没有 写 出 所 有 的 数 
据 ， 写 操作 也 会 在 完成 时 返回 并 通知 channel-Future。 当 这 种 情况 发 生 
时 ， 如 果 仍 然 不 停 地 写 入 ， 就 有 内 存 耗 尽 的 风险 。 所 以 在 写 大 型 数据 
时 ， 需 要 准备 好 处 理 到 远程 节点 的 连接 是 慢 速 连接 的 情况 ， 这 种 情况 会 
导致 内 存 释 放 的 延迟。 让 我 们 考虑 下 将 一 个 文件 内 容 写 出 到 网 络 的 情 





Dlo 


在 我 们 讨论 传输 《〈 见 4.2 节 ) 的 过 程 中 ， 提 到 了 NIO 的 零 拷贝 特性 ， 
这 种 特性 消除 了 将 文件 的 内 容 从 文件 系统 移动 到 网 络 栈 的 复制 过 程 。 所 
有 的 这 一 切 都 发 生 在 Netty 的 核心 中 ， 所 以 应 用 程序 所 有 需要 做 的 就 是 
使 用 一 个 FileRegion 接 口 的 实现 ， 其 在 Netty 的 API 文 档 中 的 定义 是 :“ 通 
过 支持 零 找 贝 的 文件 传输 的 channel 来 发 送 的 文件 区 域 。” 


代码 清单 11-11 展 示 了 如 何 通过 从 FileInputstream 创 建 一 
个 DefaultFileRegion， 并 将 其 写 入 channel 局 ， 从 而 利用 零 拷 贝 特性 来 
传输 一 个 文件 的 内 容 。 


代码 清单 11-11 ”使 用 FileRegion 传 输 文件 的 内 容 


FileInputStream in = new FileInputStream(file); - -- 创建 一 个 
FileInputStream 
FileRegion region = new DefaultFileRegion( =- -- 以 该 文件 的 完整 长 度 
创建 一 个 新 的 DefaultFileRegion 
in.getChannel(), ©, file.length()); 
channel.writeAndFlush(region) .addListener ( - -- 发 送 该 
DefaultFile-Region， 并 注册 一 个 channelFutureListener 
new ChannelFutureListener() { 
@Override 
public void operationComplete(ChannelFuture future) 
throws Exception { 
if (!future.isSuccess()) { 
Throwable cause = future.cause(); ~ -- 处 理 失败 
// Do something 


























} 
} 
+); 


这 个 示例 只 适用 于 文件 内 容 的 直接 传输 ， 不 包括 应 用 程序 对 数据 的 
任何 处 理 。 在 需要 将 数据 从 文件 系统 复制 到 用 户 内 存 中 时 ， 可 以 使 
用 chunkedwriteHandler， 它 文 持 异步 写 大 型 数据 流 ， 而 又 不 会 导致 大 量 
的 内 存 消 耗 。 


关键 是 interface ChunkedInput<B>， 其 中 类 型 参数 B 是 readchunk() 
方法 返回 的 类 型 。Netty 预 置 了 该 接口 的 4 个 实现 ， 如 表 11-7 中 所 列 出 
的 。 每 个 都 代表 了 一 个 将 由 chunked-writeHandler 处 理 的 不 定 长 度 的 数 
据 流 。 





代码 清单 11-12 说 明了 chunkedstream 的 用 法 ， 它 是 实践 中 最 常用 的 
实现 。 所 示 的 类 使 用 了 一 个 File 以 及 一 个 sslcontext 进 行 实例 化 。 
当 initchannel() 方 法 被 调用 时 ， 它 将 使 用 所 示 的 channelHandler 链 初始 
化 该 channel。 


表 11-7 chunkedInput 的 实现 


eaa 当 你 的 平台 不 支持 零 拷贝 或 者 你 需要 转换 数据 时 使 月 
和 chunkedFiie 类 似 » 只 是 它 使 用 T FileChannel 


























从 mputstrean 中 逐 块 传输 内 容 
从 ReadableBytechannel Hi 逐 块 传输 内 容 


当 channel 的 状态 变 为 活动 的 时 ，writeStreamHandler 将 会 有 未 块 地 把 
来 自 文件 中 的 数据 作为 cnunkedstream 写 入 。 数 据 在 传输 之 前 将 会 


由 sslHandler 加 密 。 








代码 清单 11-12 ”使 用 chunkedstream 传 输 文 件 内 容 


public class ChunkedwriteHandlerInitializer 
extends ChannelInitializer<Channel> { 
private final File file; 
private final SslContext sslCtx; 


public ChunkedwWriteHandlerInitializer(File file, SslContext sslCt 
this.file = file; 
this.sslCtx = sslCtx; 
} 


@Override 
protected void initChannel(Channel ch) throws Exception { 
ChannelPipeline pipeline = ch.pipeline(); 


pipeline.addLast(new SslHandler(sslCtx.newEngine(ch.alloc()); 一 
- 将 SslHandler 添加 到 ChannelPipeline 中 


pipeline.addLast(new ChunkedwWriteHandler()); ~ -- 添加 
Chunked-WriteHandler 以 处 理 作为 ChunkedInput 传 入 的 数据 
pipeline.addLast(new WriteStreamHandler()); - -- THE 
接 创建 ，WriteStreamHandler 就 开始 写 文件 数据 
} 























public final class WriteStreamHandler 
extends ChannelInboundHandlerAdapter { 


@Override 
public void channelActive(ChannelHandlerContext ctx) 一 - 
- ” 当 连 接 创 建 时 ，channelActive( ) 方 法 将 使 用 ChunkedInput 写 文件 数据 
throws Exception { 
super.channelActive(ctx); 
ctx.writeAndFlush( 
new ChunkedStream(new FileInputStream(file))); 




















逐 块 输入 ”要 使 用 你 自己 的 chunkedInput 实 现 ， 请 在 channelPipeline 中 安装 
一 个 chunkedwriteHandler。 





在 本 节 中 ， 我 们 讨论 了 如 何 通 过 使 用 零 找 贝 特性 来 高 效 地 传输 文 
件 ， 以 及 如 何 通 过 使 用 chunkedwriteHandler 来 写 大 型 数据 而 义 不 必 冒 着 
导致 outofMemoryError 的 风险 。 在 下 一 节 中 ， 我 们 将 仔细 研究 几 种 序列 
化 POJO 的 方法 。 


11.6 ”序列 化 数据 





JDK 提 供 了 objectoutputStream 和 objectInputstream， 用 于 通过 网 
络 对 POJO 的 基本 数据 类 型 和 图 进行 序列 化 和 反 序 列 化 。 该 API 并 不 复 
杂 ， 而 且 可 以 被 应 用 于 任何 实现 了 java.io.serializable 接 口 的 对 象 。 
但 是 它 的 性 能 也 不 是 非常 高 效 的 。 在 这 一 节 中 ， 我 们 将 看 到 Netty 必 须 
为 此 提供 什么 。 


11.6.1 JDK 序 列 化 


如 果 你 的 应 用 程序 必须 要 和 使 用 了 objectoutputstream 和 
objectInputSstream 的 远程 节点 交互 ， 并 且 兼 容 性 也 是 你 最 关心 的 ， 那么 





JDK 序 列 化 将 是 正确 的 选择 名 。 表 11-8 中 列 出 了 Netty 提 供 的 用 于 和 JDK 
进行 互 操作 的 序列 化 类 。 


表 11-8 ” JDK 序列 化 编 解码 器 


m 和 使 用 JDK 序 列 化 的 非 基 于 Netty 的 远程 节点 进行 互 操作 的 解码 器 
[9] 
和 使 用 JDK 序 列 化 的 非 基于 Netty 的 远程 节点 进行 互 操作 的 编码 器 
























































objectpecoder 构建 于 JDK 序 列 化 之 上 的 使 用 自 定义 的 序列 化 来 解码 的 解码 器 ;， 当 没有 其 他 
的 外 部 依赖 时 ， 它 提供 了 速度 上 的 改进 。 人 否则 其 他 的 序列 化 实现 更 加 可 取 


me cies 构建 于 JDK 序 列 化 之 上 的 使 用 自 定义 的 序列 化 来 编码 的 编码 器 ， 当 没有 其 他 
的 外 部 依赖 时 ， 它 提供 了 速度 上 的 改进 。 否 则 其 他 的 序列 化 实现 更 加 可 取 
11.6.2 ”使 用 JBoss Marshalling 进 行 序列 化 
如 果 你 可 以 自由 地 使 用 外 部 依赖 ， 那 么 JBoss ”Marshalling 将 是 个 理 


想 的 选择 : 它 比 JDK 序 列 化 最 多 快 3 倍 ， 而 且 也 更 加 紧凑 。 在 JBoss 
Marshalling 官 方 网 站 主页 Lu 上 的 概述 中 对 它 是 这 么 定义 的 

































































JBoss Marshalling 是 一 种 可 选 的 序列 化 API， 它 修复 了 在 JDK 序 列 化 API 中 所 发 
现 的 许多 问题 ， 同 时 保留 了 与 java.io.Serializable 及 其 相关 类 的 兼容 性 ， 并 
添加 了 几 个 新 的 可 调 优 参数 以 及 额外 的 特性 ， 所 有 的 这 些 都 是 可 以 通过 工厂 
(如 外 部 序列 化 器 、 类 /实例 查找 表 、 类 解析 以 及 对 象 蔡 换 等 ) 实现 可 插 





























Netty 通 过 表 11-9 所 示 的 两 组 解码 器 /编码 右 对 为 Boss ”Marshalling 提 
供 了 支持 。 第 一 组 兼容 只 使 用 JDK 序 列 化 的 远程 节点 。 第 二 组 提供 了 最 
大 的 性 能 ， 适 用 于 和 使 用 JBoss Marshalling 的 远程 节点 一 起 使 用 。 


表 11-9 JBoss Marshalling 编 解码 器 











与 只 使 用 JDK 序 列 化 的 远程 节点 旨 
CompatibleMarshallingEncoder 








适用 于 使 用 JBoss Marshalling 的 节点 。 这 些 类 必须 一 起 使 用 
MarshallingEncoder 


代码 清单 11-13 展 示 了 如 何 使 用 MarshallingDecoder 和 和 
MarshallingEncoder。 同 样 ， 几 平 只 是 适当 地 配置 channelPipeline 轩 
Te 


代码 清单 11-13 ”使 用 JBoss Marshalling 


public class MarshallingInitializer extends ChannelInitializer<Ch 
private final MarshallerProvider marshallerProvider; 
private final UnmarshallerProvider unmarshallerProvider; 


public MarshallingInitializer ( 
UnmarshallerProvider unmarshallerProvider, 
MarshallerProvider marshallerProvider) { 
this.marshallerProvider = marshallerProvider; 
this.unmarshallerProvider = unmarshallerProvider ; 


J 


@Override 


protected void initChannel(Channel channel) throws Exception { 
ChannelPipeline pipeline = channel.pipeline(); 


pipeline.addLast(new MarshallingDecoder(unmarshallerProvider ) ); 
- ”添加 MarshallingDecoder 以 将 ByteBuf 转换 为 P0JO 


pipeline.addLast (new MarshallingEncoder(marshallerProvider ) ); 
- -- 添加 Marshalling-Encoder 以 将 P0J0 转 换 为 ByteBuf 
pipeline.addLast(new ObjectHandler()); - -- 添加 
0bjectHandler， 以 处 理 普通 的 实现 了 Serializable 接口 的 P0J0 
} 


public static final class ObjectHandler 
extends SimpleChannelInboundHandler<Serializable> { 
@Override 
public void channelReadO( 

















ChannelHandlerContext channelHandlerContext, 
Serializable serializable) throws Exception { 
// Do something 


t 
} 
} 


11.6.3 i xtProtocol Buffers 序 列 化 


Netty 序 列 化 的 最 后 一 个 解决 方案 是 利用 Protocol Buffers HHH Ha fts 
器 ， 它 是 一 种 由 Google 公 司 开 发 的 、 现 在 已 经 开源 的 数据 交换 格式 。 可 
以 在 https://github.com/google/protobuf 找 到 源 代码 。 


Protocol Buffers 以 一 种 紧凑 而 高 效 的 方式 对 结构 化 的 数据 进行 编码 
以 及 解码 。 它 具有 许多 的 编程 语言 绑 定 ， 使 得 它 很 适合 跨 语 言 的 项 目 。 
表 11-10 展 示 了 Netty 为 文 持 protobuf 所 提供 的 channelHandler 实 现 。 





表 11-10 ”Protobuf 编 解码 器 


使 用 protobuf 对 消息 进行 解码 
使 用 protobuf 对 消息 进行 编码 























protobufVarint32FrameDecoder 根据 消息 中 的 Google Protocol Buffers 的 “Base 128 Varints”a 整 型 长 
度 字 段 值 动态 地 分 割 所 接收 到 的 ey tesur 

ProtobufVar int32LengthFieldPrepender 向 Byteeuf 衣 追加 一 个 Google Protocal Buffers)‘ ‘Base 128 Varints’ E 
型 的 长 度 字段 值 


a. 参 见 Google 的 Protocol Buffers 编 码 的 开发 者 指南 : 
[https://developers.google.com/protocol-buffers/docs/encoding] 
(https://developers.google.com/protocol-buffers/docs/encoding). 


在 这 里 我 们 又 看 到 了 ， 使 用 protobuf 只 不 过 是 将 正确 的 
channelHandler 添 加 到 channel-Pipeline 中 ， 如 代码 清单 11-14 所 示 。 





代码 清单 11-14 ”使 用 protobuf 


public class ProtoBufInitializer extends ChannelInitializer< Chan 
private final MessageLite lite; 


public ProtoBufInitializer(MessageLite lite) { 
this.lite = lite; 
} 


@Override 
protected void initChannel(Channel ch) throws Exception { 
ChannelPipeline pipeline = ch.pipeline(); 






































pipeline.addLast(new ProtobufVarint32FrameDecoder()); - -- Ñ 
加 ProtobufVarint32FrameDecoder 以 分 隔 帧 

pipeline.addLast(new ProtobufEncoder()); 了 2 < -- 添加 
ProtobufEncoder 以 处 理 消息 的 编码 

pipeline.addLast(new ProtobufDecoder(lite)); - -- 添加 
ProtobufDecoder 以 解码 消息 

pipeline.addLast(new ObjectHandler()); - -- 添加 object- 
Handler 以 处 理解 码 消息 

} 


public static final class ObjectHandler 
extends SimpleChannelInboundHandler< Object> { 
@Override 


public void channelReadO(ChannelHandlerContext ctx, Object msg) 
throws Exception { 
// Do something with the object 


在 这 一 节 中 ， 我 们 探讨 了 由 Netty 专 门 的 解码 器 和 编码 器 所 支持 的 
不 同 的 序列 化 选项 : 标准 JDK 序 列 化 、JBoss “Marshalling 以 及 Google 的 


Protocol Buffers 。 
m7 2 信和 
Netty 提 供 的 编 解 码 器 以 及 各 种 channelHandler 可 以 被 组 合 和 扩展 ， 


以 实现 非常 广泛 的 处 理 方案 。 此 外 ， 它 们 也 是 被 论证 的 、 健 壮 的 组 件 ， 
己 经 被 许多 的 大 型 系统 所 使 用 。 





需要 注意 的 是 ， 我 们 只 涵盖 了 最 第 见 的 示例 ;Netty 的 API 文 档 提 供 
T EWA HHA i o 


在 下 一 半 中 ， 我 们 将 学 习 男 一 种 先进 的 协议 一 一 WebSocket， 它 被 
开发 用 以 改进 Web 应 用 程序 的 性 能 以 及 啊 应 性 。Netty 提 供 了 你 将 会 需要 
的 工具 ， 以 便 你 快速 、 轻 松 地 利用 它 强 大 的 功能 。 





[1] 传输 层 安 全 (TLS) 协议 ，1.2 版 : http://tools.ietf.org/html/rfc5246。 


[2] Comet 束 是 一 个 例子 : 
http://en.wikipedia.org/wiki/Comet_%28programming%29. 


[3] RFC 6455, WebSocketH iX, http://tools.ietf.org/html/rfc6455. 


[4] 关于 WebSocket 的 客户 端 示 例 ， 请 参考 Netty 源 代码 中 所 包含 的 例 
F: https://github.com/netty/netty/tree/4.1/ 
example/src/main/java/io/netty/example/http/websocketx/client. 


[5] 有 关 这 些 协 议 的 RFC 可 以 在 IETF 的 网 站 上 找到 : SMTP 在 
www.ietf.org/rfc/rfc2821.txt，POP3 在 www.ietf. org/rfc/rfc1939.txt, IMAP 
fEhttp://tools.ietf.org/html/rfc3501, if Telnet7£ 
http://tools.ietf.org/search/rfc854. 


IS) 对 于 固定 由 大 小 的 协议 来 说 ， 不 震 要 将 由 长 度 编码 到 头 部 ， — A 
注 


[7] 我 们 甚至 可 以 利用 io.netty.channel.ChannelProgressivePromise 来 实时 
获取 传输 的 进度 。 一 一 译 者 注 


[8] ”参见 Oracle 的 Java ”SE 文档 中 的 “JavaObject ”Serialization” 部 分 : 
http://docs.oracle.com/javase/8/docs/technotes/ guides/serialization/。 


[9] ”这 个 类 已 经 在 Netty ”3.1 中 废弃 ， 并 不 存在 于 Netty ”4.x 中 : 
https://issues.jboss.org/browse/NETTY-136。 一 一 译 者 注 


[10] “About JBoss Marshalling”: www.jboss.org/jbossmarshalling 。 


[11] 有 关 Protocol Buffers 的 描述 请 参考 


https://developers.google.com/protocol-buffers/?hl=zh. 


[12] 还 需要 在 当前 的 ProtobufEncoder 之 前 添加 一 个 相应 的 
ProtobufVarint32LengthFieldPrepender 以 编码 进 帧 长 度 信 AB. 译 


者 注 








第 三 部 分 ”网络 协议 


WebSocket 是 一 种 为 了 提高 Web 应 用 程序 的 性 能 以 及 响应 性 而 开发 
的 先进 的 网 络 协 议 。 我 们 将 通过 编写 一 个 简单 的 示例 应 用 程序 来 探索 
Netty 对 它们 的 支持 。 

在 第 12 音 中 ， 通 过 构建 一 个 可 以 在 多 个 浏览 器 客户 端 之 间 进 行 实时 
通信 的 聊天 室 ， 你 将 学 习 到 如 何 使 用 WebSocket 来 实现 双 回 数据 传输 。 
你 还 将 会 看 到 如 何在 你 的 应 用 程序 中 通过 检测 客户 端 是 否 支 持 
WebSocket 协 议 ， 从 而 从 HTTP 协 议 切 换 到 WebSocket 协 议 。 


通过 对 第 13 半 中 Netty 对 于 用 户 数 据 报 协议 UDP) 的 支持 的 学 
习 ， 我 们 将 结束 第 三 部 分 。 在 这 一 章 中 ， 你 将 会 构建 可 适用 于 多 种 实际 
用 途 的 广播 服务 器 和 监视 器 客户 端 。 








第 12 章 WebSocket 


本 章 主要 内 容 


。 实时 Web 的 概念 
e WebSocket 协 议 
。 使 用 Netty 构 建 一 个 基于 WebSocket 的 聊天 室 服务 器 


如 采 你 有 跟 进 web 技术 的 最 新 进展 ， 你 很 可 能 就 遇 到 过 “实时 
Web” 这 个 短语 ， 而 如 果 你 在 工程 领域 中 有 实时 应 用 程序 的 实战 经 验 ， 
那么 你 可 能 有 点 怀疑 这 个 术语 到 底 意 总 味 着 什么 。 


因此 ， 让 我 们 首先 洪 清 ， 这 里 并 不 是 指 所 谓 的 硬 实时 服务 质量 
(QoS) ， 硬 实时 服务 质量 是 保证 计算 结果 将 在 指定 的 时 间 间 隔 内 被 递 
交 。 仪 HTTP 的 请 求 / 啊 应 模式 设计 就 使 得 其 很 难 被 支持 ， 从 过 去 所 设计 
re ala ley ey EE pee RI pee 
可 见 一 斑 。 


虽然 已 经 有 了 一 些 关 于 正式 定义 实时 Web 服 务 册 语义 的 学 术 讨论 ， 
但 是 被 普 irate reed ae 不 未 出 现 。 因 此 现在 我 们 将 采纳 下 面 来 自 维 
基 百 科 的 非 权 威 性 描述 



































实时 Web 利 用 技术 和 实践 ， 使 用 户 在 信息 的 作者 发 布 信息 之 后 就 能 够 立即 收 
到 信息 ， 而 不 需要 他 们 或 者 他 们 的 软件 周期 性 地 检查 信息 源 以 获取 更 新 。 
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简 而 言 之 ， 昌 然 全 面 的 实时 Web 可 能 并 不 会 马上 到 来 ， 但 是 它 背 后 
的 想法 却 助 长 了 对 于 几乎 瞬时 获得 信息 的 期 望 。 我 们 将 在 本 章 中 讨论 的 
WebSocket 名 协议 便 是 在 这 个 方向 上 迈 出 的 坚实 的 一 步 。 








12.1 WebSocket 简 介 


WebSocket 协 议 是 完全 重新 设计 的 协议 ， 则 在 为 Web 上 的 双 同 数据 
传输 问题 提供 一 个 切实 可 行 的 解雇 方案 ， 使 得 客户 端 和 服务 器 之 间 可 以 
在 任意 时 刻 传输 消息 ， 因 此 ， 这 也 惑 要 求 它 们 异步 地 处 理 消 息 回 执 。 

(作为 HTML5 客 户 端 API 的 一 部 分 ， 大 部 分 最 新 的 浏览 右 都 已 经 支持 了 
WebSocket。) 

Netty 对 于 WebSocket 的 支持 包含 了 所 有 正在 使 用 中 的 主要 实现 ， 
此 在 你 的 下 一 个 应 用 程序 中 采用 它 将 是 简单 直接 的 。 和 往常 使 用 Netty 
一 样 ， 你 可 以 完全 使 用 该 协议 ， 而 无 需 关 心 它 内 部 的 实现 细节 。 我 们 将 
通过 创建 一 个 基于 WebSocket 的 实时 聊天 应 用 程序 来 演示 这 一 点 。 


12.2 ”我们 的 WebSocket 示 例 应 用 程序 











为 了 让 示例 应 用 程序 展示 它 的 实时 功能 ， 我 们 将 通过 使 用 
WebSocket 协 议 来 实现 一 个 基于 浏览 器 的 聊天 应 用 程序 ， 就 像 你 可 能 在 
Facebook 的 文本 消息 功能 中 见 到 过 的 那样 。 我 们 将 通过 使 得 多 个 用 户 之 
间 可 以 同时 进行 相互 通信 ， 从 而 更 进一步 。 

图 12-1 说 明了 该 应 用 程序 的 逻辑 : 

(1) 客户 端 发 送 一 个 消息 ; 


(2) 该 消 妃 将 被 广播 到 所 有 其 他 连接 的 客户 端 。 











图 12-1 WebSocket 应 用 程序 逻辑 


这 正如 你 可 能 会 预期 的 一 个 聊天 室 应 当 的 工作 方式 : 所 有 的 人 都 可 
以 和 其 他 的 人 聊天 。 在 示例 中 ， 我 们 将 只 实现 服务 器 端 ， 而 客户 端 则 是 
通过 Web 页 面 访问 该 聊天 室 的 浏览 嚣 。 正 如 同 你 将 在 接 下 来 的 几 页 中 所 
看 到 的 ，WebSocket 简 化 了 编写 这 样 的 服务 器 的 过 程 。 


12.3 ”添加 WebSocket 支 持 








在 从 标准 的 HTTP 或 者 HTTPS 协 议 切 换 到 WebSocket 时 ， 将 会 使 用 一 
种 称 为 升级 握手 屋 的 机 制 。 因 此 ， 使 用 WebSocket 的 应 用 程序 将 始终 以 
HTTP/S 作 为 开始 ， 然 后 再 执行 升级 。 这 个 升级 动作 发 生 的 确切 时 刻 特 
定 于 应 用 程序 ， 它 可 能 会 发 生 在 启动 时 ， 也 可 能 会 发 生 在 请 求 了 某 个 特 
定 的 URL 之 后 。 


我 们 的 应 用 程序 将 采用 下 面 的 约定 : 如 果 被 请 求 的 URL 以 /ws 结 
尾 ， 那 么 我 们 将 会 把 该 协议 升级 为 WebSocket; 人 否则， 服务 器 将 使 用 基 
本 的 HTTP/S。 在 连接 已 经 升级 完成 之 后 ， 所 有 数据 都 将 会 使 用 
WebSocket 进 行 传输 。 图 12-2 说 明了 该 服务 器 逻辑 ， 一 如 在 Netty 中 一 
样 ， 它 由 一 组 channelHandler 实 现 。 我 们 将 会 在 下 一 节 中 ， 解 释 用 于 处 
理 HTTP 以 及 WebSocket 协 议 的 技术 时 ， 摘 述 它 们 。 
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图 12-2 ”服务 器 逻辑 
12.3.1 ”处 理 HTTP 请 


首先 ， 我 们 将 实现 该 处 理 HITP 请 求 的 组 件 。 这 个 组 件 将 提供 用 于 
访问 聊天 室 并 显示 由 连接 的 客户 问 发 送 的 消息 的 网 页 。 代 码 清单 12-1 给 
出 了 这 个 HttpRequestHandler 对 应 的 代码 ， 其 扩展 了 
simplechannelInboundHandler 以 处 理 FullHttpRequest 消 息 。 需要 注意 的 
channelRead9() 方 法 的 实现 是 如 何 转发 任何 目标 URI 为 /ws 的 请 求 


代码 清单 12-1 HTTPRequestHandler 


public class HttpRequestHandler 
extends SimpleChannelInboundHandler<FullHttpRequest> { - - 
- #}SimpleChannel-InboundHandler 以 处 理 FullHttpRequest 消息 
private final String wsUri; 
private static final File INDEX; 




















static { 

URL location = HttpRequestHandler.class 
.getProtectionDomain( ) 
.getCodeSource().getLocation(); 

try { 

String path = location.toURI() + "index.html"; 


path = !path.contains("file:") ? path : path.substring(5); 
INDEX = new File(path); 
} catch (URISyntaxException e) { 
throw new IllegalStateException( 
"Unable to locate index.html", e); 


} 


public HttpRequestHandler(String wsUri) { 
this.wsUri = wsUri; 
} 


@Override 
public void channelReadO(ChannelHandlerContext ctx, 
FullHttpRequest request) throws Exception { 
if (wsUri.equalsIgnoreCase(request.getUri())) { (1) 
如 果 请 求 了 WebSocket 协 议 升级 ， 则 增加 引用 计数 (调用 retain( ) 方 法 ) ， 并 将 它 传 











递 给 下 一 个 channelInboundHandler 
ctx.fireChannelRead(request.retain()); 
} else { 
if (HttpHeaders.is100ContinueExpected(request)) { ©- 
- © 处 理 100 Continue 请 求 以 符合 HTTP1.1 规范 
sendi00Continue(ctx); 
} 


RandomAccessFile file = new RandomAccessFile(INDEX, "r"); 和 - 
- 读 取 ijndex.html 
HttpResponse response = new DefaultHttpResponse( 


























request.getProtocolVersion(), HttpResponseStatus.OK); 
response.headers().set( 
HttpHeaders.Names.CONTENT_TYPE, 
"text/html; charset=UTF-8"); 
boolean keepAlive = HttpHeaders.iskKeepAlive(request); 
if (keepAlive) { =- -- 如 果 请 求 了 keep-alive， 则 添加 所 需要 
的 HTTP 头 信息 











response.headers().set( 
HttpHeaders.Names.CONTENT_LENGTH, file.length()); 


response.headers().set( HttpHeaders.Names.CONNECTION, 
HttpHeaders.Values.KEEP_ALIVE); 


ctx.write(response); - -- @BHttpResponse’s FAP im 


if (ctx.pipeline().get(SslHandler.class) == null) { - -- O% 
index.html 写 到 客户 端 
ctx.write(new DefaultFileRegion( 
file.getChannel(), 0, file.length())); 
} else { 
ctx.write(new ChunkedNioFile(file.getChannel())); 
} 


ChannelFuture future = ctx.writeAndFlush( - -- O5 
LastHttpContent 并 冲刷 至 客户 端 
LastHttpContent.EMPTY_LAST_CONTENT); 
if (!keepAlive) { =- -- @ 如 果 没 有 请 求 keep-alive， 则 在 写 操 
作 完 成 后 关闭 Channel 
future.addListener (ChannelFutureListener.CLOSE) ; 
} 








private static void sendi100Continue(ChannelHandlerContext ctx) { 
FullHttpResponse response = new DefaultFullHttpResponse( 


HttpVersion.HTTP_1_1, HttpResponseStatus.CONTINUE) ; 
ctx.writeAndFlush(response) ; 


} 
@Override 


public void exceptionCaught(ChannelHandlerContext ctx, Throwable 
throws Exception { 
cause.printStackTrace(); 
ctx.close(); 


如 果 该 HTTP 请 求 指向 了 地 址 为 /ws 的 URI， 那 
么 HttpRequestHandler 将 调用 FullHttp-Request 对 象 上 的 retain() 方 法 ， 
并 通过 调用 firechannelRead(msg) 方 法 将 它 转发 给 下 一 
4SChannelInboundHandler@. 之 所 以 需要 调用 retain() 方 法 ， 是 因为 调 
用 channelRead() 方 法 完成 之 后 ， 它 将 调用 FullHttpRequest 对 象 上 的 
release() 方 法 以 释放 它 的 资源 。( 参 见 我 们 在 第 6 半 中 对 于 
simpleChannelInboundHandler 的 讨论 。 ) 


WRA mK T HTTP 1.1 的 HITP 头 信息 Expect: 100-continue, 
那么 Http-RequestHandler 将 会 发 送 一 个 100 continue 全 响应 。 在 该 
HTTP 头 信息 被 设置 之 后 ，Http-RedquestHandler 将 会 写 回 一 
个 HttpResponse 生 给 客户 端 。 这 不 是 一 |~FullHttp-Response, 因为 它 只 
是 啊 应 的 第 一 个 部 分 。 此 外 ， 这 里 也 不 会 调用 writeAndFlush() 方 法 ， 在 
结束 的 时 候 才 会 调用 。 


如 果 不 需 要 加 密 和 压缩 ， 那 么 可 以 通过 将 index.htn1@ 的 内 容 存储 
到 DefaultFile-Region 中 来 达到 最 佳 效 率 。 这 将 会 利用 零 找 贝 特 性 来 进 
行内 容 的 传输 。 为 此 ， 你 可 以 检查 一 下 ， 是 否 有 SslHandler 存 在 于 
在 channelPipeline 中 。 人 和 否则， 你 可 以 使 用 chunkedNioFile。 








HttpRequestHandler 将 写 一 NLastHttpCcontent@ 来 标记 响应 的 结 
Wo 如 果 没 有 请 求 keep-alive@， 那么 HttpRequestHandler 将 会 添加 一 
个 channelFutureListener 到 最 后 一 次 写 出 动作 的 channelFuture， 并 关 
在 这 里 ， 你 将 调用 writeAndFlush() 方 法 以 冲刷 所 有 之 前 写 入 
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WEBSOCKETIi ”WebSocket 以 帧 的 方式 传输 数据 ， 帧 代表 消息 的 一 部 
分 。 一 个 完整 的 消息 可 能 会 包含 许多 帧 。 





12.3.2 处理 WebSocket 帧 

由 IETF 发 布 的 WebSocket RFC， 定 义 了 6 种 帧 ，Netty 为 它们 每 种 都 
提供 了 一 个 POJO 实 现 。 表 12-1 列 出 了 这 些 帧 类 型 ， 并 摘 述 了 它们 的 用 
法 。 


表 12-1 webSocketFrame 的 类 型 


帧 类 型 





包含 属于 上 一 个 BinaryWebSocketFrame HK,TextwebSocket - Frane 的 文本 数据 或 者 二 进 制 
数据 
ere S cwose 请 求 ， 包 含 一 个 关闭 的 状态 码 和 关闭 的 原因 


我 们 的 聊天 应 用 程序 将 使 用 下 面 几 种 帧 类 型 : 








e CloseWebSocketFrame; 
e PingWebSocketFrame; 
e PongwWebSocketFrame; 


e TextWebSocketFrame. 


TextwebSsocketFrame 是 我 们 唯一 真正 需要 处 理 的 帧 类 型 。 为 了 符合 
WebSocket RFC，Netty 提 供 了 WebsocketserverProtocolHandler 来 处 理 
其 他 类 型 的 帧 。 


人 
ChannelInboundHandler, 其 还 还 将 在 它 的 channel6roup 中 跟踪 所 有 活动 的 
WebSocket 连 接 。 


代码 清单 12-2 ”处 理 文 本 帧 
public class TextWebSocketFrameHandler 
extends SimpleChannelInboundHandler<TextwWebSocketFrame> { - 


- j #£SimpleChannelInboundHandler, 3-’b#iTextwebSocketFrame 消息 
private final ChannelGroup group; 




















public TextWebSocketFrameHandler(ChannelGroup group) { 
this.group = group; 


@Override 
public void userEventTriggered(ChannelHandlerContext ctx, 
- -- 重 写 userEventTriggered() 方 法 以 处 理 自 定 义 事件 
Object evt) throws Exception { 
if (evt == WebSocketServerProtocolHandler 
.ServerHandshakeStateEvent .HANDSHAKE_COMPLETE) { 
ctx.pipeline().remove(HttpRequestHandler.class); - - 
如 果 该 事件 表示 握手 成 功 ， 则 从 该 Channelipeline 中 移 除 Http- 
ee a 因为 将 不 会 接收 到 任何 HTTP 消息 了 









































group.writeAndFlush(new TextWebSocketFrame( - -- @ 
通知 所 有 已 经 连接 的 WebSocket 客户 端 新 的 客户 端 已 经 连接 上 了 
"Client " + ctx.channel() + " joined")); “= -- 四 将 





新 的 WebSocket Channe1 添 加 到 ChannelGroup 中 ， 以 便 它 可 以 接收 到 所 有 的 消息 
group.add(ctx.channel()); 
} else { 
super.userEventTriggered(ctx, evt); 
} 


J 


@Override 

public void channelRead@(ChannelHandlerContext ctx, 
TextWebSocketFrame msg) throws Exception { 
group.writeAndFlush(msg.retain()); - -- 全 增加 消息 的 引用 计 














数 ， 并 将 它 写 到 channelLGroup 中 所 有 已 经 连接 的 客户 端 
} 
} 


TextwebSsocketFrameHandler 只 有 一 组 非常 少量 的 责任 。 当 和 新 客户 
端的 WebSocket 握 手 成 功 完成 之 后 @， 它 将 通过 把 通知 消息 写 
到 channelGroup 中 的 所 有 channe1 来 通知 所 有 已 经 连接 的 客户 端 ， 然 后 它 
将 把 这 个 新 channel 加 入 到 该 channelcroup 中 人 @。 


如 果 接 收 到 了 TextwebsocketFrame 消 息 
©, TextwebSocketFrameHandler 44 Ji H TextwebSocketFrameyH ERY 
retain() 方 法 ， 并 使 用 writeAndFlush() 方 法 来 将 它 传输 给 
channelGroup， 以 便 所 有 已 经 连接 的 WebSocket channel 都 将 接收 到 它 。 


和 之 前 一 样 ， 对 于 retain() 方 法 的 调用 是 必需 的 ， 因 为 
“channelReado( ) 方 法 返回 时 ， TextwebSsocketFrame 的 引用 计数 将 会 被 
减少 。 由 于 所 有 的 操作 都 是 异步 的 ， 因 此 ，writeAnd-Flush() 方 法 可 能 
会 在 channelRead0() 方 法 返回 之 后 完成 ， 而 且 它 绝对 不 能 访问 一 个 已 经 
RECHT S| AA © 


因为 Netty 在 内 部 处 理 了 大 部 分 剩 下 的 功能 ， 所 以 现在 剩 下 唯一 需 
要 做 的 事情 就 是 为 每 个 新 创建 的 channe1 初 始 化 其 channelPipeline。 为 
此 ， 我 们 将 需要 一 个 channelInitializer。 





12.3.3 ”初始 化 ChannelPipeline 


正如 你 已 经 学 习 到 的 ， 为 了 将 channelHandler 安 装 
到 channelPipeline 中 ， 你 扩展 了 channelInitializer， 并 实现 了 
initchannel() 方 法 。 代 码 清 单 12-3 展 示 了 由 此 生成 的 


ChatServerInitializer 的 代码 。 


代码 清单 12-3 ”初始 化 channelPipeline 


public class ChatServerInitializer extends ChannelInitializer<Cha 
- P ¢ChannelInitializer 
private final ChannelGroup group; 


public ChatServerInitializer(ChannelGroup group) { 
this.group = group; 
} 


@Override 
protected void initChannel(Channel ch) throws Exception { 
- -- 将 所 有 需要 的 ChannelHandler 添加 到 channelPipeline 中 

ChannelPipeline pipeline = ch.pipeline(); 
pipeline.addLast(new HttpServerCodec()); 
pipeline.addLast(new ChunkedwriteHandler()); 
pipeline.addLast(new HttpObjectAggregator(64 * 1024)); 
pipeline.addLast(new HttpRequestHandler("/ws")); 





pipeline.addLast(new WebSocketServerProtocolHandler("/ws")); 
pipeline.addLast(new TextWebSocketFrameHandler (group) ); 


对 于 initchannel() 方 法 的 调用 ， 通 过 安装 所 有 必需 的 
channelHandler 来 设置 该 新 注册 的 channel 的 channelPipeline。 这 些 
channelHandler 以 及 它们 各 自 的 职责 都 被 总 结 在 了 表 12-2 中 。 


表 12-2 基于 WebSocket 聊 天 服务 器 的 channelHandler 


ChannelHandler 


HttpServerCodec 将 字 节 解码 为 HttpRequest、 Httpcontent Fl Lastuttp- Content o 并 
将 Httprequest、 Httpcontent Last- Httpcontent 编 码 为 字 节 


HttpobjectAggregator 将 一 个 HttpMessage 和 跟随 它 的 多 个 nttpcontent 聚 合 口 为 单个 FualhttpRequest 或 


























者 Fulinttpresponse。 《取决 于 它 是 被 用 来 处 理 请 求 还 是 响应 ) 。 安 装 了 这 个 
之 后 , channelpipeline 中 的 下 一 个 channelhandler 将 只 会 收 到 完 整 的 HTTP 请 求 
或 响应 


处 理 FullHttpRequest (ABLE AN RIE Bll ws URI 的 请 求 ) 


WebSocketServerProtocolHandler 按照 WebSocket 规 范 的 要 求 ， 处 理 WebSocket 升 级 握 


~  PingWebSocketFrame PongWebSocketFrame Fl closewebSocketFrame 


处 理 TextWebSocketErame Fl 握手 完成 事件 









































Netty 的 websocketserverpProtocolHandler 处 理 了 所 有 委托 管理 的 
WebSocket 巾 类 型 以 及 升级 握手 本 映 。 如 果 握 手 成 功 ， 那 么 所 需 的 
channelHandler 将 会 被 添加 到 channelPipeline 中 ， 而 那些 不 再 需要 的 
channelHandler 则 将 会 被 移 除 。 


WebSocket 协 议 升 级 之 前 的 channelPipeline 的 状态 如 图 12-3 所 示 。 
这 代表 了 刚刚 被 chatserverInitializer 初 始 化 之 后 的 


ChannelPipeline. 
Channel Pipeline 
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图 12-3 WebSocket 协 议 升级 之 前 的 channelPipeline 


当 WebSocket 协 议 升级 完成 之 后 ，wWebSocketServerProtocolHandler 
将 会 把 Http-RedquestDecoder 蔡 换 为 WebSsocketFrameDecoder， 把 
Ht tpResponseEncoder $f f AWwebSocketFrameEncoder o 为 了 性 能 最 大 化 ， 
它 将 移 除 任何 不 再 被 WebSocket 和 连接 所 需要 的 channelHandler。 这 也 包 
括 了 图 12-3 所 示 的 HttpobjectAggregator 和 HttpRequest-Handler。 


图 12-4 展 示 了 这 些 操作 完成 之 后 的 channelPipeline。 需 要 注意 的 
是 ，Netty 目 前 支持 4 个 版 本 的 WebSocket 协 议 ， 它 们 每 个 都 具有 自己 的 
实现 类 。Netty 将 会 根据 客户 端 〈 这 里 指 浏览 器 ) 所 支持 的 版 本 外 ， 自 动 
地 选择 正确 版 本 的 websocketFrameDecoder 和 websocket-FrameEncoder。 


Channel Pipeline 


WebSocket | | WebSocket | | WebSocket Text 
Frame Frame Server WebSocket 


Decoder Encoder Protocol Frame 
13 13 Handler Handler 








图 12-4 WebSocket 协 议 升 级 完成 之 后 的 channelPipeline 


12.3.4 引导 


这 幅 拼 图 最 后 的 一 部 分 是 引导 该 服务 器 ， 并 安装 
chatserverInitializer 的 代码 。 这 将 由 chatserver 类 人 处理， 如 代码 清单 
12-4 所 示 。 


代码 清单 12-4 引导 服务 器 


public class ChatServer { 
private final ChannelGroup channelGroup = 


new DefaultChannelGroup(ImmediateEventExecutor.INSTANCE) ; = = 
- 创建 DefaultChanneJGroup， 其 将 保存 所 有 已 经 连接 的 WebSocket Channel 


private final EventLoopGroup group = new NioEventLoopGroup(); 
private Channel channel; 








public ChannelFuture start(InetSocketAddress address) { © - 
- “引导 服务 器 

ServerBootstrap bootstrap = new ServerBootstrap(); 

bootstrap.group(group) 
.channel(NioServerSocketChannel.class) 
.childHandler(createInitializer(channelGroup) ); 

ChannelFuture future = bootstrap.bind(address); 

future.syncUninterruptibly(); 

channel = future.channel(); 

return future; 


} 


protected ChannelInitializer<Channel> createInitializer( 
- -- 创建 ChatServerInitializer 








ChannelGroup group) { 
return new ChatServerInitializer(group); 


} 


public void destroy() { < -- 处 理 服务 器 关闭 ， 并 释放 所 有 的 资源 
if (channel != null) { 
channel.close(); 























channelGroup.close(); 
group.shutdownGracefully(); 


public static void main(String[] args) throws Exception { 
if (args.length != 1) { 
System.err.printin("Please give port as argument"); 
System.exit(1); 


int port = Integer.parseInt(args[0]); 
final ChatServer endpoint = new ChatServer(); 
ChannelFuture future = endpoint.start( 

new InetSocketAddress(port)); 
Runtime.getRuntime( ).addShutdownHook(new Thread() { 

@Override 

public void run() { 

endpoint.destroy(); 
} 


}); 


future.channel().closeFuture().syncUninterruptibly(); 


这 也 就 完成 了 该 应 用 程序 本 身 。 现 在 让 我 们 来 测试 它 吧 。 

12.4 测试 该 应 用 程序 

目录 chapter12 中 的 示例 代码 包含 了 你 需要 用 来 构建 并 运行 该 服务 
妖 的 所 有 资源 。( 如 果 你 还 没有 设置 好 你 的 包括 Apache Maven 在 内 的 开 
发 环境 ， 参 见 第 2 章 中 的 操作 说 明 。) 

我 们 将 使 用 下 面 的 Maven 命 令 来 构建 和 启动 服务 器 : 


mvn -PChatServer clean package exec:exec 


项 目 文 件 pom.xml 被 配置 为 在 端口 9999 上 启动 服务 器 。 如 果 要 使 用 








不 同 的 端口 ， 可 以 通过 编辑 文件 中 对 应 的 值 ， 或 者 使 用 一 个 system 属 性 
来 对 它 进行 重 写 : 


mvn -PChatServer -Dport=1111 clean package exec:exec 


代码 清单 12-5 展 示 了 该 命令 主要 的 输出 (无 关 紧 要 的 行 已 经 被 删除 
lee 


代码 清单 12-5 ”编译 并 运行 chatserver 


$ mvn -PChatServer clean package exec:exec 
[INFO] Scanning for projects... 
[INFO] 


[INFO] = 96s a a a a A 


[INFO] 

[INFO] --- maven-jar-plugin:2.4:jar (default-jar) @ netty-in- 
action --- 

[INFO] Building jar: target/chat-server-1.0-SNAPSHOT.jar 

[INFO] 

[INFO] --- exec-maven-plugin:1.2.1:exec (default-cli) @ chat- 
server --- 

Starting ChatServer on port 9999 


你 通过 将 自己 的 浏览 器 指向 http:/localhost:9999 来 访问 该 应 用 程 
序 。 图 12-5 展 示 了 其 在 Chrome 浏 览 器 中 的 UI。 


图 中 展示 了 两 个 已 经 连接 的 客户 端 。 第 一 个 客户 端 是 使 用 上 面 的 界 
面 连接 的 ， 第 二 个 客户 端 则 是 通过 底部 的 Chrome 浏 览 器 的 命令 行 工 具 
连接 的 。 钮 你 会 注意 到 ， 两 个 客户 端 都 发 送 了 消息 ， 并 且 每 个 消息 都 显 
示 在 两 个 客户 端 中 。 


这 是 一 个 非常 简单 的 演示 ， 演 示 了 WebSocket 如 何在 浏览 器 中 实现 
实时 通信 。 








Wws:/Mlocalhost:8080'ws 


connected 
Client [id: 0x02e5f2c3, /127.0.0.1:43872 => 


/127.0.0.1:8080] joined 
hello 


well, hello to you too! 


—— Yup, pretty exciting right? 
| [Send Certainly is! 






说 明 ， 


第 1 步 :点击 Connect 按 钮 。 


第 2 步 : 一 旦 连接 上 ， 就 输入 消息 并 单 击 Send 按 钮 。 来 目 服务 器 的 响应 将 会 出 现在 
L08 部 分 ， 你 可 以 随意 发 送 任意 多 的 消息 。 


Elements Resources Network Sources Timeline Profiles Audits | Console | 


F WS. SNOT Welt, NEU TO YOU TOOT JJ aa 
undefined 
well, hello to you too! 
So this is WebSockets huh? 

> ws.send('Yup, pretty exciting right?') 
undefined 
Yup, pretty exciting right? 
Certainly is! 

> 








图 12-5 ”基于 WebSocket 的 chatserver 的 演示 
如 何 进行 加 密 








在 真实 世界 的 场景 中 ， 你 将 很 快 束 会 被 要 求 回 该 服务 器 添 加 加 密 。 
使 用 Netty， 这 不 过 是 将 一 个 sslHandler 添 加 到 channelPipeline 中 ， 并 
配置 它 的 问题 。 代 码 清单 12-6 展 示 了 如 何 通过 扩展 我 们 的 
chatSserverInitializer 来 创建 一 个 securechatserverInitializer 以 完成 


代码 清单 12-6 ”为 channelPipeline 添 加 加 密 


public class SecureChatServerInitializer extends ChatServerInitia 
- ”扩展 ChatServerInitializer 以 添加 加 密 
private final SslContext context; 


public SecureChatServerInitializer(ChannelGroup group, 
SslContext context) { 
super (group); 
this.context = context; 





} 

@Override 

protected void initChannel(Channel ch) throws Exception { 
super.initChannel(ch); =- -- 调用 父 类 的 jnitchannel() 方 法 
SSLEng.ine engine = context.newEngine(ch.alloc()); 
engine.setUseClientMode(false) ; 
ch.pipeline().addFirst(new SslHandler(engine)); ~ -- 将 

SslHandler 添加 到 ChannelPipeline 中 
} 


J 


最 后 一 步 是 调整 chatserver 以 使 用 SecurechatSserverInitializer， 
以 便 在 channel-Pipeline 中 安装 sslHandler。 这 给 了 我 们 代码 清单 12-7 
中 所 展示 的 SecurechatServer。 
代码 清单 12-7 问 chatserver 添 加 加 密 
public class SecureChatServer extends ChatServer { gn Si 
- SecureChatServer 扩展 ChatServer Ax 

private final SslContext context; 

public SecureChatServer(SslContext context) { 


this.context = context; 
} 


@Override 
protected ChannelInitializer<Channel> createInitializer ( 


ChannelGroup group) { 
return new SecureChatServerInitializer(group, context); 
- -- ”返回 之 前 创建 的 SecureChatServer-Initializer 以 启用 加 密 
} 


public static void main(String[] args) throws Exception { 
if (args.length != 1) { 
System.err.printin("Please give port as argument"); 
System.exit(1); 





} 

int port = Integer.parseInt(args[0]); 
SelfSignedCertificate cert = new SelfSignedCertificate(); 
SslContext context = SslContext.newServerContext ( 
cert.certificate(), cert.privateKey()); 


final SecureChatServer endpoint = new SecureChatServer(context); 


ChannelFuture future = endpoint.start(new InetSocketAddress(port) 
Runtime.getRuntime( ).addShutdownHook(new Thread() { 
@Override 
public void run() { 
endpoint.destroy(); 
} 


J); 


future.channel().closeFuture().syncUninterruptibly(); 


这 就 是 为 所 有 的 通信 和 启用 SSL/TLS 加 密 需 要 做 的 全 部 。 和 之 前 一 
样 ， 可 以 使 用 Apache Maven 来 运行 该 应 用 程序 ， 如 代码 清单 12-8 所 示 。 
它 还 将 检索 任何 所 需 的 依赖 。 
代码 清单 12-8 ”启动 SecurechatServer 


$ mvn -PSecureChatServer clean package exec:exec 
[INFO] Scanning for projects... 


[INFO] -- <9 22 22 nnn ene en ee eee 
[INFO] 
[INFO] --- maven-jar-plugin:2.4:jar (default-jar) @ netty-in- 


action --- 

[INFO] Building jar: target/chat-server-1.0-SNAPSHOT. jar 

[INFO] 

[INFO] --- exec-maven-plugin:1.2.1:exec (default-cli) @ chat- 
server --- 

Starting SecureChatServer on port 9999 


现在 ， 你 便 可 以 从 securechatserver 的 HITTPS URL 地 
址 https:/localhost:9999 访 问 它 了 。 


12.5 小结 





在 本 章 中 ， 你 学 习 了 如 何 使 用 Netty 的 WebSocket 实 现 来 管理 Web 应 
用 程序 中 的 实时 数据 。 我 们 履 盖 了 其 所 文 持 的 数据 类 型 ， 并 讨论 了 你 可 
能 会 遇 到 的 一 些 限 制 。 尽 管 不 可 能 在 所 有 的 情况 下 都 使 用 WebSocket， 
但 是 仍然 需要 清晰 地 认识 到 ， 它 代表 了 Web 技 术 的 一 个 重要 进展 。 





[1] “Real-time Web Services Orchestration and Choreography”: http://ceur- 
ws.org/Vol-601/EOMAS10_paper13.pdf. 


[2] IETF RFC 6455, The WebSocket Protocol: 
http://tools.ietf.org/html/rfc6455. 


[3] Mozila F R424, “Protocol upgrade mechanism”: 
https://developer.mozilla.org/en-US/docs/HTTP/ 
Protocol_upgrade_mechanism. 


[4] 在 这 个 例子 中 ， 我 们 假设 使 用 了 13 版 的 WebSocket 协 议 ， 所 以 图 中 展 


示 的 是 websocketFrameDecoder13 和 webSsocketFrameEncoder13。 


[5] 也 可 以 通过 在 一 个 新 的 浏览 器 中 访问 http:/Wlocalhost:9999 来 达到 同样 
的 目的 ， 从 而 代 蔡 Chrome 浏 览 器 的 开发 者 工具 。 一 一 译 者 注 


第 13 章 ”使 用 UDP 广 播 事 件 


本 章 主要 内 容 


。 UDP 概述 
e 一 个 示例 广播 应 用 程序 


到 目前 为 上 上， 你 所 见 过 的 绝 大 多 数 的 例子 都 使 用 了 基于 连接 的 协 
议 ， 如 TCP。 在 本 章 中 ， 我 们 将 会 把 重点 放 在 一 个 无 连接 协议 即 用 户 数 
据 报 协议 《UDP) 上 ， 它 通 营 用 在 性 能 至 关 重 要 并 且 能 够 容忍 一 定 的 数 
据 包 丢失 的 情况 下 山 。 


我 们 将 会 首先 概述 UDP 的 特性 以 及 它 的 局 限 性 。 在 这 之 后 ， 我 们 将 
描述 本 章 的 示例 应 用 程序 ， 其 将 演示 如 何 使 用 UDP 的 广播 能 力 。 我 们 还 
会 使 用 一 个 编码 器 和 一 个 解码 器 来 处 理 作 为 广播 消 轧 格式 的 POJO。 在 
本 章 的 结束 时 候 ， 你 将 能 够 在 自己 的 应 用 程序 中 使 用 UDP。 


13.1 UDP 的 基础 知识 


面向 连接 的 传输 〈 如 TCP) 管理 了 两 个 网 络 端点 之 间 的 连接 的 创 
建 ， 在 连接 的 生命 周期 内 的 有 序 和 可 靠 的 消息 传输 ， 以 及 最 后 ， 连 接 的 
有 序 终止 。 相 比 之 下 ， 在 类 似 于 UDP 这 样 的 无 连接 协议 中 ， 并 没有 持久 
0 

前 单元 。 


此 外 ，UDP 也 没有 TCP 的 纠 错 机 制 ， 其 中 每 个 节点 都 将 确认 它们 所 
接收 到 的 包 ， 而 没有 被 确认 的 包 将 会 被 发 送 方 重 新 传输 。 


通过 模拟 ，TCP 连 接 就 像 打 电话 ， 其 中 一 系列 的 有 序 消 息 将 会 在 两 
个 方向 上 流动 。 相 反 ，UDP 则 类 似 于 往 邮箱 中 投入 一 登 明 信 片 。 你 无 法 








知道 它们 将 以 何 种 顺序 到 达 它 们 的 目的 地 ， 或 者 它们 是 否 所 有 的 都 能 够 
到 达 它 们 的 目的 地 。 


UDP 的 这 些 方 面 可 能 会 让 你 感觉 到 严重 的 局 限 性 ， 但 是 它们 也 解释 
了 为 何 它 会 比 TCP 快 那么 多 : 所 有 的 握手 以 及 消息 管理 机 制 的 开销 都 已 
经 被 消除 了 。 显 然 ，UDP 很 适合 那些 能 够 处 理 或 者 容忍 消 晨 丢 失 的 应 用 
程序 ， 但 可 能 不 适合 那些 处 理 金 融 交 易 的 应 用 程序 内 。 


13.2 UDP 广播 





到 目前 为 止 ， 我 们 所 有 的 例子 采用 的 都 是 一 种 叫 作 单 播 包 的 传输 横 
式 ， 定 义 为 发 送 消息 给 一 个 由 唯一 的 地 址 所 标识 的 单一 的 网 络 目 的 地 。 
面 问 连 接 的 协议 和 无 连接 协议 都 文 持 这 种 模式 。 


UDP 提供 了 癌 多 个 接收 者 发 送 消 妃 的 额外 传输 模式 : 





。 多 播 一 一 传输 到 一 个 预定 义 的 主机 组 ; 
。 厂 播 一 一 传输 到 网 络 ( 或 者 子 网 ) 上 的 所 有 主机 。 


本 章 中 的 示例 应 用 程序 将 通过 发 送 能 够 被 同一 个 网 络 中 的 所 有 主机 
所 接收 的 消息 来 演示 UDP 广播 的 使 用 。 为 此 ， 我 们 将 使 用 特殊 的 受 限 广 
播 地 址 或 者 零 网 络 地 址 255.255.255.255。 发 送 到 这 个 地 址 的 消息 都 将 会 
被 定 同 给 本 地 网 络 (0.0.0.0) 上 的 所 有 主机 ， 而 不 会 被 路 由 器 转发 给 
其 他 的 网 络 。 


接 下 来 ， 我 们 将 讨论 该 应 用 程序 的 设计 。 
13.3 UDP 示例 应 用 程序 


我 们 的 示例 程序 将 打开 一 个 文件 ， 随 后 将 会 通过 UDP 把 每 一 行 都 作 
为 一 个 消息 广播 到 一 个 指定 的 端口 。 如 果 你 熟悉 类 UNIX 操 作 系 统 ， 你 
可 能 会 认识 到 这 是 标准 的 syslog 实 用 程序 的 一 个 非常 简化 的 版 本 。UDP 
非常 适合 于 这 样 的 应 用 程序 ， 因 为 考虑 到 日 志文 件 本 身 已 经 被 存储 在 了 
文件 系统 中 ， 因 此 ， 偶 尔 丢 失 日 志文 件 中 的 一 两 行 是 可 以 容忍 的 。 此 
外 ， 该 应 用 程序 还 提供 了 极 具 价 值 的 高 效 处 理 大 量 数 据 的 能 














接收 方 是 怎么 样 的 呢 ? 通过 UDP 广播 ， 只 需 简 单 地 通过 在 指定 的 端 
口上 启动 一 个 监听 程序 便 可 以 创建 一 个 事件 监视 占 来 接收 日 志 消 居 。 
需要 注意 的 是 ， 这 样 的 轻松 访问 性 也 带 来 了 潜在 的 安全 隐患 ， 这 也 就 是 
为 何在 不 安全 的 环境 中 并 不 倾 回 于 使 用 UDP 广 播 的 原因 之 一 。 出 于 同样 
T E SE E ees 


























AUS tare 类 似 于 syslog 这 样 的 应 用 程序 通 第 会 被 归 类 为 发 布 /订阅 模 
式 : 生产 者 或 者 服务 发 布 事件 ， 而 多 个 客户 端 进 行 订阅 以 接收 它们 。 
































图 13-1 展 示 了 整个 系统 的 一 个 高 级 别 视图 ， 其 由 一 个 广播 者 以 及 一 
个 或 痢 多 个 事件 监视 器 所 组 成 。 厂 播 者 将 监听 新 内 容 的 出 现 ， 淄 它 出 现 
时 ， 则 通过 UDP 将 它 作 为 一 个 广播 消 轧 进行 传输 。 


人 





El 


图 13-1 广播 系统 概览 
所 有 的 在 该 UDP 端口 上 监听 的 事件 监视 器 都 将 会 接收 到 广播 消 妃 。 
为 了 简单 起 见 ， 我 们 将 不 会 为 我 们 的 示例 程序 添加 里 份 认证 、 验 证 
或 者 加 密 。 但 是 ， 要 加 入 这 些 功能 并 使 得 其 成 为 一 个 健壮 的 、 可 用 的 实 
用 程序 应 该 也 不 难 。 
在 下 一 市 中 ， 我 们 将 开始 探讨 该 广播 者 组 件 的 设计 以 及 实现 细 市 。 


13.4 消息 POJO: LogEvent 





在 消 妃 处 理应 用 程序 中 ， 数 据 通常 由 POJO 表 示 ， 除 了 实际 上 的 消 
恩 内 容 ， 其 还 可 以 包含 配置 或 处 理 信息 。 在 这 个 应 用 程序 中 ， 我 们 将 会 
把 消 轧 作为 事件 处 理 ， 并 且 由 于 该 数据 来 自 于 日 志文 件 ， 所 以 我 们 将 它 
称 为 LogEvent。 代 码 清单 13-1 展 示 了 这 个 简单 的 POJO 的 详细 信息 。 


代码 清单 13-1 LogEvent 消 息 


public final class LogEvent { 
public static final byte SEPARATOR = (byte) ':'; 
private final InetSocketAddress source; 
private final String logfile; 
private final String msg; 
private final long received; 





public LogEvent(String logfile, String msg) { =- -- 用 于 传 出 
消息 的 构造 函数 
this(null, -1, logfile, msg); 
} 


public LogEvent(InetSocketAddress source, long received, - - 
- “用 于 传 入 消息 的 构造 函数 
String logfile, String msg) { 
this.source = source; 
this.logfile = logfile; 
this.msg = msg; 
this.received = received; 


public InetSocketAddress getSource() { = = 返回 发 送 
LogEvent 的 源 的 InetSocketAddress 
return source; 
} 


public String getLogfile() { - -- 返回 所 发 送 的 LogEvent 的 日 志文 
件 的 名 称 


return logfile; 
} 


public String getMsg() { - -- 返回 消息 内 容 
return msg, 
} 


public long getReceivedTimestamp() { - -- 返回 接收 LogEvent 
的 时 间 


} 


return received; 


rE SUE T HE, RAE VASA A ee E S o E 
下 一 节 中 ， 我 们 将 研究 用 于 编码 和 传输 LogEvent 消 息 的 Netty 框 架 类 。 


13.5 ”编写 广播 者 





Netty 提 供 了 大 量 的 类 来 支持 UDP 应 用 程序 的 编写 。 表 13-1 列 出 了 我 
们 将 要 使 用 的 主要 的 消息 容器 以 及 channe1 关 型 。 


表 13-1 在 广播 者 中 使 用 的 Netty 的 UDP 相关 类 











interface 定义 一 个 消息 ， 其 包装 了 男 一 个 消息 并 带 有 发 送 者 和 接收 者 地 址 。 其 中 


人 是 消 BOK FI. A 是 地 址 类 型 














A extends DORES 
SocketAddress> 

extends 
ReferenceCounted 


class 提供 了 interface AddressedEnvelope 的 默认 实现 


DefaultAddressedEnvelope 


AddressedEnvelope<M, A> 





class DatagramPacket 扩展 T DefaultAddressedEnvelope 以 使 用 eyteguf 作 为 消 息 数 据 容器 


extends 
DefaultAddressedEnvelope 





ByteBufHolder 


扩展 了 Netty 的 cnamei 抽 象 以 文 持 UDP 的 多 播 组 
extends Channel 

















class NioDatagramChannnel 定义 T 一 个 能 够 发 送 和 接收 Addressed- Envelope 消 A 的 cnannel 类 型 


extends 
AbstractNioMessageChannel 

implements 
DatagramChannel 





By AB 


Netty 的 DatagramPacket 是 一 个 人 简单 的 消息 容器 ，Datagramchannel 实 
现 用 它 来 和 远程 节点 通信 。 类 似 于 在 我 们 先前 的 模拟 中 的 明信片 ， 它 包 
含 了 接收 者 〈 和 可 选 的 发 送 者 ) 的 地 址 以 及 消息 的 有 效 负载 本 丑 。 


要 将 LogEvent 消 息 转 换 为 DatagramPacket， 我 们 将 需要 一 个 编码 
器 。 但 是 没有 必要 从 头 开 始 编写 我 们 目 己 的 。 我 们 将 扩展 Netty 的 
MessageToMessageEncoder， 在 第 10 章 和 第 11 章 中 我 们 已 经 使 用 过 了 。 


图 13-2 展 示 了 正在 广播 的 3 个 日 志 条 目 ， 每 一 个 都 将 通过 一 个 专门 
的 DatagramPacket 进 行 广播 。 

















日 志文 伯 日 志文 件 中 的 单个 条 目 






一 个 DatagramPacket 持 
有 一 个 单一 的 日 志 条 目 


'38 dev-linux dhclient: DHCPACK of ... / 


+38 dev-linux dhclient: bound to. 


21:00:38 dev-linux dhclient: DHCPREQUEST of ... 




















DatagramPacket 


Mar 24 21:00:38 dev-linux dhclient: 
DHCPREQUEST of ... 


DatagramPacket 


Mar 24 21:00:38 dev-linux dhclient: 
DHCPACK of ... 


DatagramPacket 


Mar 24 21:00:38 dev-linux dhclient: 
bound to 192.168.0. 


图 13-2 ”通过 DatagramPacket 发 送 的 日 志和 条目 


图 13-3 呈 现 了 该 LogEventBroadcaster 的 ChannelPipeline 的 一 个 高 级 
别 视 图 ， 展 示 了 LogEvent 消 息 是 如 何 流 经 它 的 。 























图 13-3 LogEventBroadcaster: ChannelPipeline 和 LogEvent 事 件 流 


正如 你 所 看 到 的 ， 所 有 的 将 要 被 传输 的 数据 都 被 封装 在 T 
消息 中 。 LogEvent - Broadcaster 将 把 这 些 写 入 到 channel 中 ， 并 通 
channelPipeline 发 送 它 们 ， 在 那里 它们 将 会 被 转换 (编码 ) 
a 最 后 ， 他 们 都 将 通过 UDP 被 广播 ， 并 由 远程 节 

《监视 器 ) 所 捕获 。 


代码 清单 13-2 展 示 了 我 们 自 定 义 版 本 的 MessageToMessageEncoder， 
其 将 执行 刚才 所 描述 的 转换 。 


代码 清单 13-2 LogEventEncoder 


public class LogEventEncoder extends MessageToMessageEncoder<LogE 
private final InetSocketAddress remoteAddress; 


public LogEventEncoder(InetSocketAddress remoteAddress) { - - 
- LogEventEncoder ”创建 了 即将 被 发 送 到 指定 的 InetSocketAddress 的 
DatagramPacket 消息 
this.remoteAddress = remoteAddress; 
+ 


@Override 








protected void encode(ChannelHandlerContext channelHandlerContext 
LogEvent logEvent, List<Object> out) throws Exception { 


byte[] file = logEvent.getLogfile().getBytes(CharsetUtil.UTF_8); 


byte[] msg = logEvent.getMsg().getBytes(CharsetUtil.UTF_8); 
ByteBuf buf = channelHandlerContext.alloc() 
.buffer(file.length + msg.length + 1); 
buf .writeBytes(file); - -- 将 文件 名 写 入 到 ByteBuf 中 
buf .writeByte(LogEvent.SEPARATOR); ~ -- 添加 一 个 SEPARATOR 
buf.writeBytes(msg); -~ -- 将 日 志 消息 写 入 ByteBuf 中 
out.add(new DatagramPacket(buf, remoteAddress)); ~ -- 将 一 


个 拥有 数据 和 目的 地 地 址 的 新 DatagramPacket 添 加 到 出 站 的 消息 列表 中 
} 
} 








在 LogEventEncoder 被 实现 之 后 ， 我 们 已 经 准备 好 了 引导 该 服务 器 ， 
其 包括 设置 各 种 各 样 的 channeloption， 以 及 在 channelPipeline 中 安装 
所 需要 的 channelHandler。 这 将 通过 才 主 类 LogEventBroadcaster 完 成 ， 如 


代码 清单 13-3 所 示 。 


代码 清单 13-3 LogEventBroadcaster 


public class LogEventBroadcaster { 
private final EventLoopGroup group; 
private final Bootstrap bootstrap; 
private final File file; 


public LogEventBroadcaster(InetSocketAddress address, File file) 
group = new NioEventLoopGroup(); 
bootstrap = new Bootstrap(); 





bootstrap.group(group).channel(NioDatagramChannel.class) - - 
- 4|5iZNioDatagram-Channel (无 连接 的 ) 
.Option(ChannelOption.S0_BROADCAST, true) - -- 设置 


SO_BROADCAST 套 接 字 选项 
.handler (new LogEventEncoder(address ) ); 
this.file = file; 


public void run() throws Exception { 
Channel ch = bootstrap.bind(0).sync().channel(); - - 
- 4heChannel 
long pointer = 0; 
for (;;) { © -- 局 动 主 处 理 循环 
long len = file.length(); 
if (len < pointer) { 
// file was reset 
pointer = len; ~ -- 如 果 有 必要 ， 将 文件 指针 设置 到 该 文件 的 





























最 后 一 个 字 节 
} else if (len > pointer) { 
// Content was added 


RandomAccessFile raf = new RandomAccessFile(file, "r"); 
raf.seek(pointer); =- -- 设置 当前 的 文件 指针 ， 以 确保 没有 
任何 的 旧 日 志 被 发 送 
String line; 
while ((line = raf.readLine()) != null) { 
ch.writeAndFlush(new LogEvent(null, -1, — -- 对 于 
每 个 日 志 条 目 ， 写 入 一 个 LogEvent 到 Channel 中 
file.getAbsolutePath(), line)); 











} 
pointer = raf.getFilePointer(); = -- 存储 其 在 文件 中 的 
当前 位 置 
raf.close(); 
} 
try { 


Thread.sleep(1000); 





} catch (InterruptedException e) { ~ -- 休眠 1 秒 ， 如 果 被 
中 断 ， 则 退出 循环 否则 重新 处 理 它 
Thread ,interrupted( ); 
break; 


} 

















} 


} 
public void stop() { 
group.shutdownGracefully(); 


public static void main(String[] args) throws Exception { 
if (args.length != 2) { 
throw new IllegalArgumentException()j; 
} 


LogEventBroadcaster broadcaster = new LogEventBroadcaster( - - 
- 创建 并 启动 一 个 新 的 LogEventBroadcaster 的 实例 
new InetSocketAddress("255.255.255.255", 
Integer.parseInt(args[0])), new File(args[1])); 
try { 
broadcaster.run(); 





} 
finally { 
broadcaster.stop(); 


这 样 就 完成 了 该 应 用 程序 的 广播 者 组 件 。 对 于 初始 测试 ， 你 可 以 使 
用 netcat 程 序 。 在 UNIX/Linux 系 统 中 ， 你 能 发 现 它 已 经 作为 nc 被 预 装 
了 。 用 于 Windows 的 版 本 可 以 从 http:/nmap.orgmcat 获 取 印 。 


netcat 非 常 适合 于 对 这 个 应 用 程序 进行 基本 的 测试 ; 它 只 是 监听 茶 
个 指定 的 端口 ， 并 且 将 所 有 接收 到 的 数据 打印 到 标准 输出 。 可 以 通过 下 
面 所 示 的 方式 ， 将 其 设置 为 监听 UDP 端口 9999 上 的 数据 : 


$ nc -1 -u -p 9999 


现在 我 们 需 要 局 动 我 们 的 LogEventBroadcaster。 代码 清单 13-4 展 示 
了 如 何 使 用 mvn 来 编译 和 运行 该 广播 者 应 用 程序 。pom.xm1l 文 件 中 的 配置 
指 问 了 一 个 将 被 频繁 更 新 的 文件 ， /var/log/messages (假设 是 一 个 
UNIX/Linux 环 境 ) ， 并 将 端口 设置 为 了 9999。 该 文件 中 的 条 目 将 会 通过 





UDP 广播 到 那个 端口 ， 并 在 你 局 动 了 netcat 的 终端 上 打印 出 来 。 


代码 清单 13-4 ”编译 和 启动 LogEventBroadcaster 


$ chapter13> mvn clean package exec:exec LogEventBroadcaster 
[INFO] Scanning for projects... 
[INFO] 


[INFO] ne ee a eee ee keene eee ee eee 


[INFO] 
[INFO] --- maven-jar-plugin:2.4:jar (default-jar) @ netty-in- 
action --- 
[INFO] Building jar: target/chapter13-1.0-SNAPSHOT. jar 
[INFO] 
[INFO] --- exec-maven-plugin:1.2.1:exec (default-cli) @ netty-in- 
action - 
LogEventBroadcaster running 


要 改变 该 日 志文 件 和 端口 值 ， 可 以 在 启动 nvn 的 时 候 通 过 system 属 
性 来 指定 它们 。 代 码 清 单 13-5 展 示 了 如 何 将 日 志文 件 设置 
为 /var/1log/mail.10g， 并 将 端口 设置 为 8888。 








代码 清单 13-5 ”编译 和 启动 LogEventBroadcaster 


$ chapter13> mvn clean package exec:exec -PLogEventBroadcaster / 
-Dlogfile=/var/log/mail.log -Dport=8888 -.... 


[INFO] 
[INFO] --- exec-maven-plugin:1.2.1:exec (default-cli) @ netty-in- 


action - 
LogEventBroadcaster running 


当 你 看 到 LogEventBroadcaster running 时 ， 你 便 知 道 它 已 经 成 功 地 
司 动 。 如 果 有 错误 及 生 ， 将 会 打印 一 个 异常 消息 。 一 且 这 个 进程 运行 
起 来 ， 它 就 会 广播 任何 新 被 添加 到 该 日 志文 件 中 的 日 志 消 轧 。 


使 用 netcat 对 于 测试 来 说 是 足够 了 ， 但 是 它 并 不 适合 于 生产 系统 。 
也 就 有 了 我 们 的 应 用 程序 的 第 二 个 部 分 一 一 我 们 将 在 下 一 市 中 实现 的 

















广播 监视 器 。 
13.6 ”编写 监视 器 


我 们 的 目标 是 将 netcat 答 换 为 一 个 更 加 完整 的 事件 消费 者 ， 我 们 称 


LA LogEventMonitor. 这 个 程序 将 : 





(1) 接收 由 LogEventBroadcaster 广 播 的 UDP DatagramPacket; 

(2) 将 它们 解码 为 LogEvent 消 息 ; 

(3) 将 LogEvent 消 息 写 出 到 System.out。 

和 之 前 一 样 ， 访 逻辑 由 一 组 自 定 义 的 channelhandler 实 现 HT 
我 们 的 解码 器 来 说 ， 我 们 将 扩展 MessageToMessagepecoder。 图 13-4 描 给 


了 LogEventMonitor 的 Channel-Pipeline， 并 且 展 示 了 LogEvent 是 如 何 流 
经 它 的 。 




















图 13-4 LogEventMonitor 


channelPipeline 中 的 第 一 个 解码 器 LogEventDecoder 负 责 将 传 入 的 
DatagramPacket 解 码 为 LogEvent 消 息 〈 一 个 用 于 转换 入 站 数据 的 任何 
Netty 应 用 程序 的 典型 设置 ) 。 代 码 清单 13-6 展 示 了 该 实现 。 


代码 清单 13-6 LogEventDecoder 


public class LogEventDecoder extends MessageToMessageDecoder<Data 


@Override 
protected void decode(ChannelHandlerContext ctx, 


DatagramPacket datagramPacket, List<Object> out) throws Exception 
- ”获取 对 DatagramPacket 中 的 数据 (ByteBuf) 的 引用 
ByteBuf data = datagramPacket.content(); 


int idx = data.indexOf(0, data.readableBytes(), - -- FR 
取 该 SEPARATOR 的 索引 
LogEvent .SEPARATOR ) ; 
String filename = data.slice(0, idx) =- -- 提取 文件 名 


.toString(CharsetUtil.UTF_8); 
String logMsg = data.slice(idx +1, =- -- 提取 日 志 消息 
data.readableBytes()).toString(CharsetUtil.UTF_8); 


LogEvent event = new LogEvent(datagramPacket.sender(), - -- 构 
建 一 个 新 的 LogEvent 对 象 ， 并 且 将 它 添加 到 (已 经 解码 的 消息 的 列表 中 
System.currentTimeMillis(), filename, logMsg); 
out.add(event); 





第 二 个 channelHandler 的 工作 是 对 第 一 个 channelHandler 所 创建 的 
LogEvent 消 息 执 行 一 些 处 理 。 在 这 个 场景 下 ， 它 只 是 简单 地 将 它们 写 出 
到 system.out。 在 真实 世界 的 应 用 程序 中 ， 你 可 能 需要 聚合 来 源 于 不 同 
日 志文 件 的 事件 ， 或 者 将 它们 发 布 到 数据 库 中 。 代 码 清单 13-7 展 示 了 
LogEventHandler, 其 说 明了 需要 遵循 的 基本 步骤 。 


代码 清单 13-7 LogEventHandler 


public class LogEventHandler 
extends SimpleChannelInboundHandler<LogEvent> { - -- 扩展 
SimpleChannelInbound-Handler 以 处 理 LogEvent 消息 




















@Override 
public void exceptionCaught(ChannelHandlerContext ctx, 
Throwable cause) throws Exception { 








cause.printStackTrace(); =- -- 当 异 常 发 生 时 ， 打 印 栈 跟踪 信息 ， 
并 关闭 对 应 的 Channel 
ctx.close(); 
} 
@Override 


public void channelReadO(ChannelHandlerContext ctx, 
LogEvent event) throws Exception { 
StringBuilder builder = new StringBuilder(); =e -- 创建 
StringBuilder， 并 且 构 建 输出 的 字符 串 
builder .append(event.getReceivedTimestamp()); 
builder.append(" ["); 
builder .append(event.getSource().toString()); 
builder.append("] ["); 
builder .append(event.getLogfile()); 
builder.append("] : "); 
builder .append(event.getMsg()); 
System.out.printin(builder.toString()); eS es 打印 
LogEvent 的 数据 
} 


} 











LogEventHandler 将 以 一 种 简单 易 读 的 格式 打印 LogEvent 消 息 ， 包 括 
以 下 的 各 项 : 


以 毫秒 为 单位 的 被 接收 的 时 间 戳 ; 

发 送 方 的 InetsocketAddress， 其 由 卫 地 址 和 端口 组 成 ; 
生成 LogEvent 消 息 的 日 志文 件 的 绝对 路 径 名 ; 

实际 上 的 日 志 消 息 ， 其 代表 日 志文 件 中 的 一 行 。 


a ll a 
到 channelPipeline 中 ， 如 图 13- 代码 清单 13-8 展 示 了 如 何 通 
LogEventMonitor 主 类 来 做 到 这 一 点 。 


代码 清单 13-8 LogEventMonitor 


public class LogEventMonitor { 
private final EventLoopGroup group; 
private final Bootstrap bootstrap; 


public LogEventMonitor(InetSocketAddress address) { 
group = new NioEventLoopGroup(); 
bootstrap = new Bootstrap(); 


bootstrap.group(group) = -- 4|/§iZNioDatagramChannel 
.channel(NioDatagramChannel.class) 
.option(Channel0Option.SO_BROADCAST, true) - -- KE 


套 接 字 选项 SO_BROADCAST 
.handler( new ChannelInitializer<Channel>() { 
@Override 
protected void initChannel(Channel channel) 
throws Exception { 
ChannelPipeline pipeline = channel.pipeline(); 
pipeline.addLast(new LogEventDecoder()); - - 
- %LogEventDecoder #lLogEventHandler 添加 到 channelPipeline 中 
pipeline.addLast(new LogEventHandler()); 


. LocalAddress(address); 


t 


public Channel bind() { 


return bootstrap.bind().syncUninterruptibly().channel(); 
- -- 绑 定 Channel。 JER, DatagramChannel 是 无 连接 的 


public void stop() { 
group.shutdownGracefully(); 








public static void main(String[] main) throws Exception { 
if (args.length != 1) { 
throw new IllegalArgumentException( 
"Usage: LogEventMonitor <port>"); 


} 
LogEventMonitor monitor = new LogEventMonitor ( - -- 构造 
一 个 新 的 LogEventMonitor 
new InetSocketAddress(Integer.parseInt(args[0]))); 
try { 


Channel channel = monitor.bind(); 
System.out.printin("LogEventMonitor running"); 
channel.closeFuture().sync(); 

} finally { 
monitor.stop(); 

} 


13.7 运行 LogEventBroadcaster 和 LogEventMonitor 





和 之 前 一 样 ， 我 们 将 使 用 Maven 来 运行 该 应 用 程序 。 这 一 次 你 将 需 
要 打开 两 个 控制 台 窗 口 ， 每 个 都 将 运行 一 个 应 用 程序 。 每 个 应 用 程序 都 
将 会 在 直到 你 按 下 了 Ctrl+C 组 合 键 来 停止 它 之 前 一 直 保持 运行 。 


首先 ， 你 需要 启动 LogEventBroadcaster， 因 为 你 已 经 构建 了 该 工 
程 ， 所 以 下 面 的 命令 应 该 就 足够 了 〈 使 用 默认 值 ) : 


$ chapter13> mvn exec:exec -PLogEventBroadcaster 








和 之 前 一 样 ， 这 将 通过 UDP 协议 广播 日 志 消 息 。 


现在 ， 在 一 个 新 窗口 中 ， 构 建 并 且 局 动 LogEventMonitor 以 接收 和 显 
示 广 播 消 息 ， 如 代码 清单 13-9 所 示 。 


代码 清单 13-9 ”编译 并 局 动 LogEventBroadcaster 


$ chapter13> mvn clean package exec:exec -PLogEventMonitor 
[INFO] Scanning for projects... 


[INPO]; ne ne ee ee a a a 


[ INFO ] 

[INFO] --- maven-jar-plugin:2.4:jar (default-jar) @ netty-in- 
action --- 

[INFO] Building jar: target/chapteri4-1.0-SNAPSHOT. jar 

[INFO] 

[INFO] --- exec-maven-plugin:1.2.1:exec (default-cli) @ netty-in- 
action --- 

LogEventMonitor running 


当 你 看 到 LogEventMonitor running 时， 你 将 知道 它 已 经 成 功 地 局 动 
了 。 如 果 有 错误 发 生 ， 则 将 会 打印 异常 信息 。 


如 代码 清单 13-10 所 示 ， 当 任何 新 的 日 志 事件 被 添加 到 该 日 志文 件 
中 时 ， 该 终端 都 会 显示 它们 。 消 息 的 格式 则 是 由 LogEventHandler 创 建 
的 。 


代码 清单 13-10 LogEventMonitor 的 输出 


1364217299382 [/192.168.0.38:63182] [/var/log/messages]| : Mar 25 


dev- 

linux dhclient: DHCPREQUEST of 192.168.0.50 on eth2 to 192.168.0. 
port 67 

1364217299382 [/192.168.0.38:63182] [/var/log/messages] : Mar 25 

dev- 


linux dhclient: DHCPACK of 192.168.0.50 from 192.168.0.254 

1364217299382 [/192.168.0.38:63182] [/var/log/messages] : Mar 25 
dev- linux dhclient: bound to 192.168.0.50 - 

- renewal in 270 seconds. 

1364217299382 [/192.168.0.38:63182] [[/var/log/messages] : Mar 25 


dev- 

linux dhclient: DHCPREQUEST of 192.168.0.50 on eth2 to 192.168.0. 
port 67 

1364217299382 [/192.168.0.38:63182] [/[/var/log/messages] : Mar 2 

dev- 


linux dhclient: DHCPACK of 192.168.0.50 from 192.168.0.254 

1364217299382 [/192.168.0.38:63182] [/var/log/messages] : Mar 25 
dev-linux dhclient: bound to 192.168.0.50 - 

- renewal in 259 seconds. 

1364217299383 [/192.168.0.38:63182] [/var/log/messages]| : Mar 25 


dev- 

linux dhclient: DHCPREQUEST of 192.168.0.50 on eth2 to 192.168.0. 
port 67 

1364217299383 [/192.168.0.38:63182] [/var/log/messages] : Mar 25 

dev- 


linux dhclient: DHCPACK of 192.168.0.50 from 192.168.0.254 
1364217299383 [/192.168.0.38:63182] [/var/log/messages] : Mar 25 

dev- linux dhclient: bound to 192.168.0.50 - 
- renewal in 285 seconds. 


如 果 你 不 能 访问 UNIX 的 syslog， 那 么 你 可 以 创建 一 个 自 定义 的 文 
件 ， 并 手动 提供 内 容 以 观测 该 应 用 程序 的 反应 。 以 使 用 touch 命 令 来 创 
建 一 个 空 文件 作为 开始 ， 下 面 所 展示 的 步 又 使 用 了 UNIX 命 令 。 


$ touch ~/mylog.log 


现在 再 次 启动 LogEventBroadcaster， 并 通过 设置 系统 属性 来 将 其 指 
问 该 文件 : 





$ chapter13> mvn exec : exec -PLogEventBroadcaster - 
Dlogfile=~/mylog.log 


— H LogEventBroadcasteriaf{y, PRA UFI KAA BUSI BACHE 
中 ， 以 在 LogEventMonitor 终 端 中 得 看 广播 输出 。 使 用 echo 命 令 并 将 输出 
重 定 同 到 该 文件 ， 如 下 所 示 : 


$ echo 'Test log entry' >> ~/mylog.log 


你 可 以 根据 需要 局 动 任意 多 的 监视 器 实例 ， 它 们 每 一 个 都 将 接收 并 
显示 相同 的 消息 。 


13.8 “小结 








在 本 章 中 ， 我 们 使 用 UDP 作为 例子 介绍 了 无 连接 协议 。 我 们 构建 了 
一 个 示例 应 用 程序 ， 其 将 日 志 条 目 转换 为 UDP 数据 报 并 广播 它们 ， 随 后 
这 些 被 广播 出 去 的 消息 将 被 订阅 的 监视 器 客户 端 所 捕获 。 我 们 的 实现 使 
用 了 一 个 POJO 来 表示 日 志 数 据 ， 并 通过 一 个 自 定义 的 编码 莫 来 将 这 个 
消息 格式 转换 为 Netty 的 DatagramPacket。 这 个 例子 说 明了 Netty 的 UDP 应 
用 程序 可 以 很 轻松 地 被 开发 和 扩展 用 以 支持 专业 化 的 用 途 。 


在 接 下 来 的 两 章 中 ， 我 们 将 把 目光 投 问 由 知名 公司 的 用 户 所 提供 的 
案例 研究 上 ， 他 们 已 使 用 Netty 构 建 了 工业 级 别 的 应 用 程序 。 











[1] 最 有 名 的 基于 UDP 的 协议 之 一 便 是 域名 服务 (DNS) ， 其 将 完全 限 
定 的 名 称 映射 为 数字 的 耳 地址。 


[2] 基于 UDP 协议 实现 的 一 些 可 靠 传 输 协议 可 能 不 在 此 范畴 内 ， 如 
Quic、Aeron 和 UDT。 一 一 译 者 注 


[3] 参见 http://en.wikipedia.org/wiki/Unicast。 


[4] 也 可 以 使 用 scoop install netcat。 一 一 译 者 注 





HURT SS Bl WTF 


本 书 的 最 后 一 部 分 介绍 的 是 5 家 知名 公司 使 用 Netty 实 现 的 任务 关键 
型 的 系统 的 案例 研究 。 第 14 章 是 关于 Droplr、EFirebase 和 Urban Airship 的 
项 目 。 第 15 章 讨论 了 在 Facebook 和 Twitter 所 完成 的 工作 。 


这 些 项 目 所 描述 的 范围 从 核心 的 基础 架构 组 件 到 移动 服务 以 及 新 的 
网 络 协议 ， 同 时 还 包括 了 两 个 用 于 执行 远程 过 程 调用 CRPC) 的 项 目 。 
在 所 有 的 这 些 案例 中 ， 你 都 将 会 看 到 这 些 组 织 已 经 通过 Netty 实 现 了 你 
在 本 书 中 学 到 的 相同 的 性 能 以 及 架构 方面 的 优势 。 

















第 14 章 ”案例 研究 ， 第 一 部 分 


e Droplr 
e Firebase 
e Urban Airship 


在 本 章 中 ， 我 们 将 介绍 两 部 分 案例 研究 中 的 第 一 部 分 ， 它 们 是 由 已 
经 在 内 部 基础 设施 中 广泛 使 用 了 Netty 的 公司 贡献 的 。 我 们 希望 这 些 其 
他 人 如 何 利 用 Netty 框 架 来 解决 现实 世界 问题 的 例子 ， 能 够 拓展 你 对 于 
Netty 能 够 做 到 什么 事情 的 理解 。 








注意 “每 个 案例 分 析 的 作者 都 直接 参与 了 他 们 所 讨论 的 项 目 。 





构建 移动 服务 





14.1 Droplr 


Bruno de Carvalho， 首 席 架 构 师 


在 Droplr， 我 们 在 我 们 的 基础 设施 的 核心 部 分 、 从 我 们 的 API 服 务 
器 到 辅助 服务 的 各 个 部 分 都 使 用 了 Netty。 

这 是 一 个 关于 我 们 是 如 何 从 一 个 单 片 的 、 运 行 缓慢 的 LAMP 山 应 用 
程序 迁移 到 基于 Netty 实 现 的 现代 的 、 蜗 性 能 的 以 及 水 平 扩展 的 分 布 式 
架构 的 案例 研究 。 


14.1.1 这 一 切 的 起 因 


当 我 加 入 这 个 团队 时 ， 我 们 运行 的 是 一 个 LAMP 应 用 程序 ， 其 作为 
前 端 页 面 服务 于 用 户 ， 同 时 还 作为 API 服 务 于 客户 端 应 用 程序 ， 其 中 ， 
也 包括 我 的 逆 同 工程 的 、 第 三 方 的 Windows 客 户 端 windroplr。 


后 来 Windroplr 变 成 了 Droplr for Windows， 而 我 则 开始 主要 负责 基 
础 设施 的 建设 ， 并 且 最 终 得 到 了 一 个 新 的 挑战 ， 完 全 重新 考虑 Droplr 的 
基础 设施 。 


在 那 时 ，Droplr 本 吴 已 经 确立 成 为 了 一 种 工作 的 理念 ， 因 此 2.0 版 本 
的 目标 也 是 相当 的 标准 : 





。 将 单 片 的 技术 栈 拆 分 为 多 个 可 横向 扩展 的 组 件 ; 
。 添加 元 余 ， 以 避免 宕 机 
。 为 客户 端 创建 一 个 简洁 的 API; 
。 使 其 全 部 运行 在 HTTPS 上 。 
创始 人 Josh 和 Levi 对 我 说 :“ 要 不 惜 一 切 代 价 ， 让 它 飞 起 来 。” 
我 知道 这 句 话 意味 的 可 不 只 是 变 快 一 点 或 者 变 快 很 多 。“ 要 不 惜 一 
切 人 代价” 意味 着 一 个 完全 数量 级 上 的 更 快 。 而 且 我 也 知道 ，Netty 最 终 将 
会 在 这 样 的 努力 中 发 挥 重要 作用 。 
14.1.2 Droplr 是 怎样 工作 的 
Droplr 拥 有 一 个 非常 简单 的 工作 流 : 将 一 个 文件 拖 动 到 应 用 程序 的 
某 单 栏 图 标 ， 然 后 Droplr 将 会 上 传 该 文件 。 当 上 传 完 成 之 后 ，Droplr 将 
复制 一 个 短 URL 也 就 是 所 谓 的 拖 乐 (drop) 一 一 到 剪贴 板 。 
就 是 这 样 。 欢 畅 地 、 实 时 地 分 享 。 


而 在 人 幕后 ， 拖 乐 元 数据 将 会 被 存储 到 数据 库 中 (包括 创建 日 期 、 名 
称 以 及 下 载 次 数 等 信息 ) ， 而 文件 本 身 则 被 存储 在 Amazon S3 上 。 


14.1.3 ”创造 一 个 更 加 快速 的 上 传 体验 
Droplr 的 第 一 个 版 本 的 上 传 流程 是 相当 地 天 真 可 爱 : 














(1) 接收 上 传 ; 

(2) 上 传 到 S3; 

(3) 如 果 是 图 片 ， 则 创建 略 缩 图 ; 

(4) 应 答 客 户 端 应 用 程序 。 

更 加 仔细 地 看 看 这 个 流程 ， 你 很 快 便 会 发 现在 第 2 步 和 第 3 步 上 有 两 
个 瓶颈 。 不 管 从 客户 端 上 传 到 我 们 的 服务 器 有 多 快 ， 在 实际 的 上 传 完 成 
之 后 ， 直 到 成 功 地 接收 到 响应 之 间 ， 对 于 拖 乐 的 创建 总 是 会 有 恼人 的 间 
隔 因为 对 应 的 文件 仍然 需要 被 上 传 到 S3 中 ， 并 为 其 生成 略 缩 图 。 

文件 越 大 ， 间 隔 的 时 间 也 越 长 。 对 于 非常 大 的 文件 来 说 ， 连 接 包 最 
终 将 会 在 等 竺 来自 服务 器 的 啊 应 时 超时 。 由 于 这 个 严重 的 问题 ， 当 时 
Droplr 只 可 以 提供 单个 文件 最 大 32MB 的 上 传 能 


有 两 种 截然 不 同 的 方案 来 减少 上 传 时 间 。 














。 方案 A， 乐 观 且 看 似 更 加 简单 〈 见 图 14-1) : 
o 完整 地 接收 文件 ; 
o 将 文件 保存 到 本 地 的 文件 系统 ， 并 立即 返回 成 功 到 客户 端 ; 
o 计划 在 将 来 的 茶 个 时 间 点 将 其 上 传 到 S3。 
。 方案 B， 安 全 但 复杂 〈 见 图 14-2) : 
o 实时 地 《〈 流 式 地 ) 将 从 客户 端 上 传 的 数据 直接 管道 给 S3。 





图 14-1 ”方案 A， 乐 观 且 看 似 更 加 简单 





图 14-2 方案 B， 安 全 但 复杂 


1， 乐 观 且 看 似 更 加 简单 的 方案 


在 收 到 文件 之 后 便 返 回 一 个 短 URL 创 造 了 一 个 空想 〈 也 可 以 将 其 称 
KEARI) ， 即 该 文件 立即 在 该 URL 地 址 上 可 用 。 但 是 并 不 能 够 保 
证 ， 上 传 的 第 二 阶段 〈 实 际 将 文件 推送 到 S3) 也 将 最 终 会 成 功 ， 那 么 用 
户 可 能 会 得 到 一 个 坏 挥 的 链接 ， 其 可 能 已 经 被 张贴 到 了 Twitter 或 者 发 送 
I 

=a 


我 们 当前 的 数据 显示 ， 我 们 的 上 传 失 败 率 略 低 于 0.019% (万 分 之 
en 
WERT f o 


我 们 也 可 以 答 试 通过 在 文件 被 最 终 推送 到 S3 之 前 ， 从 接收 它 的 机 顺 
提供 该 文件 的 服务 来 比 开 它 ， 然 而 这 种 做 法 本 号 就 是 一 扒 采 烦 : 








。 如 采 在 一 批文 件 被 完整 地 上 传 到 S3 之 前 ， 机 器 出 现 了 故障 ， 那 么 这 
HEM AP RE IKAER 

也 将 会 有 路 集群 的 同步 问题 〈《“ 这 个 拖 乐 所 对 应 的 文件 在 哪里 

We? ”) ; 

将 会 需要 额外 的 复杂 的 逻辑 来 处 理 各 种 边界 情况 ， 继 而 不 断 产生 更 
多 的 边界 情况 ; 


在 思考 过 每 种 变通 方案 和 其 陷阱 之 后 ， 我 很 快 认识 到 ， 这 是 一 个 经 
典 的 九 头 蛇 问 题 一 一 对 于 每 个 砍 下 的 头 ， 和 它 的 位 置 上 都 会 再 长 出 两 个 
hi 





2. 安全 但 复杂 的 方案 


妨 一 个 选项 需要 对 整体 过 程 进 行 底 层 的 控制 。 从 本 质 上 说 ， 我 们 必 
须要 能 够 做 到 以 下 几 点 。 


。 在 接收 客户 端 上 传 文件 的 同时 ， 打 开 一 个 到 S3 的 连接 。 
。 将 从 客户 疹 连 接 上 收 到 的 数据 管道 给 到 S3 的 连接 。 
。 绥 冲 并 市 流 这 两 个 连接 : 
o 需要 进行 缓冲 ， 以 在 客户 端 到 服务 器 ， 以 及 服务 器 到 S3 这 两 个 


分 文 之 间 保 持 一 条 的 稳定 的 流 ; 
o 需要 进行 节 流 ， 以 防 正 当 服 务 器 到 S3 的 分 文 上 的 速度 变 得 慢 于 
客户 端 到 服务 器 的 分 文 时 ， 内 存 被 消耗 列 尽 。 
。 当 出 现 错误 时 ， 需 要 能 够 在 两 端 进行 彻底 的 回 滚 。 


看 起 来 概念 上 很 简单 ， 但 是 它 并 不 是 你 的 通常 的 Web 服 务 需 能 够 提 
供 的 能 力 。 尤 其 是 当 你 考虑 节 流 一 个 TCP 连 接 时 ， 你 需要 对 它 的 套 接 字 
进行 底层 的 访问 。 


它 同 时 也 引入 了 一 个 新 的 挑战 ， 其 将 最 终 塑造 我 们 的 终极 架构 ， 推 
人 述 略 缩 图 的 创建 。 


这 也 意味 着 ， 无 论 该 平台 最 终 构建 于 哪 种 技术 栈 之 上 ， 它 都 必须 要 
不 仅 能 够 提供 一 些 基 本 的 特性 ， 如 难以 置信 的 性 能 和 稳定 性 ， 而 且 在 必 
要 时 还 要 能 够 提供 操作 底层 〈 即 字 节 级 别 的 控制 ) 的 灵活 性 。 


14.1.4 ”技术 栈 


当 开始 一 个 新 的 Web 服 务 器 项 目 时 ， 最 终 你 将 会 问 自己 :“ 好 吧 ， 
这 些 酪 小 子 们 这 段 时 间 都 在 用 什么 框架 呢 ?” 我 也 是 这 样 的 。 


选择 Netty 并 不 是 一 件 无 需 动脑 的 事 ， 我 研究 了 大 量 的 框架 ， 并 说 
记 我 认为 的 3 个 至 关 重 要 的 要 素 。 


C1) 它 必须 是 快速 的 。 我 可 不 打算 用 一 个 低 性 能 的 拉 术 栈 瞧 换 态 
一 个 低 性 能 的 技术 栈 。 


(2) 它 必 须 能 够 伸缩 。 不 管 它 是 有 1 个 连接 还 是 10 000 个 连接 ， 每 
个 服务 器 实例 都 必须 要 能 够 保持 吞吐 量 ， 并 且 随 着 时 间 推 移 不 能 出 现 裔 
误 或 者 内 存 泄露 。 

(3) 它 必 须 提 供 对 底层 数据 的 控制 。 字 节 级 别 的 读 取 、TCP 拥 塞 
控制 等 ， 这 些 都 是 难点 。 


要 素 1 和 要 素 2 基 本 上 排除 了 任何 非 编 译 型 的 语言 。 我 是 Ruby 语 言 的 
拥 征 ， 并 且 热 爱 Sinatra 和 Padrino 这 样 的 轻 量 级 框架 ， 但 是 我 知道 我 所 奶 
寻 的 性 能 是 不 可 能 通过 这 些 构件 块 实现 的 。 






































BER IAA MARE: 无 论 是 什么 样 的 解决 方案 ， 它 都 不 能 依赖 于 
咀 瞪 WO。 看 到 了 本 书 这 里 ， 你 肯定 已 经 明白 为 什么 非 阻 窟 WO 是 唯一 的 
选择 了 。 

要 素 3 比较 绕 弯 儿 。 它 意味 着 必须 要 在 一 个 框架 中 找到 完美 的 平 
痪 ， 它 必须 在 提供 了 对于 尼 所 接收 到 的 玫 据 的 底层 控制 的 同时 ， 也 支持 
快速 的 开发 ， 并 且 值 得 信赖 。 这 便 是 语言 、 文 档 、 社 区 以 及 其 他 的 成 功 
案例 开始 起 作用 的 时 候 了 。 

在 那 时 我 有 一 种 强烈 的 感 党: Netty 便 是 我 的 首选 武器 。 

1. 基本 要 素 : 服务 器 和 流水 线 


服务 器 基本 上 只 是 一 个 serverBootstrap， 其 内 置 了 
NioServerSocketChannelFactory;, 配置 了 几 个 常见 的 channelHandler 以 
及 在 末尾 的 HTTP Requestcontroller， 如 代码 清单 14-1 所 示 。 


代码 清单 14-1 设置 channelPipeline 





pipelineFactory = new ChannelPipelineFactory() { 
@Override 
public ChannelPipeline getPipeline() throws Exception { 
ChannelPipeline pipeline = Channels.pipeline(); 


pipeline.addLast("idleStateHandler", new IdleStateHandler(...)); 
- IdleStateHandler 将 关闭 不 活动 的 连接 





mgs addLast("httpServerCodec", new HttpServerCodec()); 
as HttpServerCodec 将 传 入 的 字 节 转 换 为 HttpRequest， 并 将 传 出 的 
Rasse 转换 为 字 节 
pipeline.addLast("requestController", = -- 将 
RequestController 添 加 到 ChannelPipeline 中 
new RequestController(...)); 
return pipeline; 


}; 


RequestController 是 ChannelPipeline 中 唯一 自 定义 的 Droplr 代 码 ， 
同时 也 可 能 是 整个 Web 服 务 器 中 最 复杂 的 部 分 。 它 的 作用 是 处 理 初始 请 
求 的 验证 ， 并 且 如 果 一 切 都 没 问 题 ， 那 么 将 会 把 请 求 路 由 到 适当 的 请 求 
aes 对 于 每 个 已 经 创建 的 客户 端 连接 ， 都 会 创建 一 个 新 的 实例 ， 并 

且 只 要 连接 保持 活动 就 一 直 存 在 。 











请 求 控 制 嚣 负责 : 


处 理 负 载 洪 峰 ; 
HTTP channelpipeline 的 管理 ; 
设置 请 求 处 理 的 上 下 文 ; 


派生 新 的 请 求 处 理 喜 ; 
向 请 求 处 理 器 供给 数据 ; 
处 理 内 部 和 外 部 的 错误 。 


代码 清单 14-2 给 出 的 是 Requestcontroller 相 关 部 分 的 一 个 纲要 。 


代码 清单 14-2 RequestController 


public class RequestController 
extends IdleStateAwareChannelUpstreamHandler { 


@Override 

public void channelIdle(ChannelHandlerContext ctx, 
IdleStateEvent e) throws Exception { 
// Shut down connection to client and roll everything back 


@Override public void channelConnected(ChannelHandlerContext ctx, 
ChannelStateEvent e) throws Exception { 
if (!acquireConnectionSlot()) { 
// Maximum number of allowed server connections reached 
// respond with 503 service unavailable 
// and shutdown connection. 
} else { 
// Set up the connection's request pipeline. 
} 


@Override public void messageReceived(ChannelHandlerContext ctx, 
MessageEvent e) throws Exception { 
if (isDone()) return; 


if (e.getMessage() instanceof HttpRequest) { 
人 e.getMessage()); - - 
- Droplr 的 服务 器 请 求 验 证 的 关键 











} else if (e.getMessage() instanceof HttpChunk) { 
handleHttpChunk((HttpChunk)e.getMessage()); =- -- 如果 
针对 当前 请 求 有 一 个 活动 的 处 理 器 ， 并 且 它 能 够 接受 HttpChunk 数据 ， 那 么 它 将 继续 按 
HttpChunk 传递 
} 


} 























} 


如 同 本 书 之 前 所 解释 过 的 一 样 ， 你 应 该 永远 不 要 在 Netty 的 IO 线程 
上 执行 任何 非 CPU 限 定 的 代码 一 一 你 将 会 从 Netty 偷 取 宝 贯 的 资源 ， 并 
此 影响 到 服务 器 的 吞吐 量 。 


因此 ，HttpRequest 和 Httpchunk 都 可 以 通过 切换 到 另 一 个 不 同 的 线 
程 ， 来 将 执行 流程 移交 给 请 求 处 理 器 。 当 请 求 处 理 器 不 是 CPU 限定 时 ， 
就 会 发 生 这 样 的 情况 ， 不 管 是 因为 它们 访问 了 数据 库 ， 还 是 执行 了 不 适 
合 于 本 地 内 存 或 者 CPU 的 逻辑 。 


当 发 生 线 程 切换 时 ， 所 有 的 代码 块 都 必须 要 以 串 行 的 方式 执行 ,人 否 
则 ， 我 们 就 会 冒 风 险 ， 对 于 一 次 上 传 来 说 ， 在 处 理 完 了 序列 号 为 n 的 
HttpChunk 之 后 ， 再 处 理 序 列 号 为 mm， -1 的 Httpchunk 必 然 会 导致 文件 内 容 
的 损坏 。〔 我 们 可 能 会 交错 所 上 传 的 文件 的 字 节 布局 。) 为 了 处 理 这 种 
情况 ， 我 创建 了 一 个 自 定义 的 线程 池 执 行 器 ， 其 确保 了 所 有 共享 了 同一 
个 通用 标识 符 的 任务 都 将 以 串 行 的 方式 被 执行 。 


从 这 里 开始 ， 这 些 数据 (请 求 和 Httpchunk〉 便 开始 了 在 Netty 和 
Droplr 王 国之 外 的 冒险 。 


我 将 简短 地 解释 请 求 处 理 器 是 如 何 被 构建 的 ， 以 
fERequestController 〈 其 存在 于 Netty 的 领地 ) 和 这 些 处 理 器 (存在 于 
Dropr 的 领地 ) 之 间 的 桥 染 上 亮 起 一 些 光 臣 。 谁 知道 呢 ， 这 也 许 将 会 帮 
助 你 架构 你 自己 的 服务 器 应 用 程序 呢 ! 


2. 请 求 处 理 器 

请 求 处 理 絮 提供 了 Droplr 的 功能 。 它 们 是 类 似 地 址 为 /account 或 
者 /drops 这 样 的 URI 背 后 的 端点 。 它 们 是 逻辑 核心 服务 器 对 于 客户 
Sita Vis OS HI AREAS o 


Tah as SEE (Netty) 框架 实际 上 成 为 了 Droplr 的 API 服 
FS tit HET o 

















a. Soin 


每 个 请 求 处 理 器 ， 不 管 是 直接 的 还 是 通过 子 类 继承 ， 都 
是 RequestHandler 接 口 的 实现 。 


其 本 质 上 ，RedquestHandler 接 口 表 示 了 一 个 对 于 请 求 (HttpRequest 
的 实例 ) 和 分 块 〈Httpchunk 的 实例 ) 的 无 状态 处 理 器 。 它 是 一 个 非常 
简单 的 接口 ， 包 含 了 一 组 方法 以 帮助 请 求 控制 器 来 执行 以 及 /或 者 决定 
如 何 执行 它 的 职责 ， 例 如 ; 


请 求 处 理 器 是 有 状态 的 还 是 无 状态 的 呢 ? E BERS RAS E, 
还 是 原型 本 身 就 可 以 用 来 处 理 请 求 呢 ? 

请 求 处 理 器 是 CPU 限定 的 还 是 非 CPU 限定 的 呢 ? 它 可 以 在 Netty 的 工 
作 线程 上 执行 ， 还 是 需要 在 一 个 单独 的 线程 池 中 执行 呢 ? 

回 深 当 前 的 变更 ; 

清理 任何 使 用 过 的 资源 。 


这 个 接口 色 就 是 RequestcontroLler 对 于 相关 动作 的 所 有 理解 。 通 过 
它 非 党 清 晰 和 简洁 的 接口 ， 该 控制 右 可 以 和 有 状态 的 和 无 状态 的 、CPU 
限定 的 和 非 CPU 限 定 的 (或 者 这 些 性 质 的 组 合 ) 处 理 器 以 一 种 独立 的 并 
且 实 现 无 关 的 方式 进行 交互 。 


4. 处 理 器 的 实现 








最 简单 的 RequestHandler 实 现 是 AbstractRequestHandler， 它 代 表 
一 个 子 类 型 的 层次 结构 的 根 ， 在 到 达 提 供 了 所 有 Droplr 的 功能 的 实际 处 
理 器 之 前 ， 它 将 变 得 您 发 具体 。 最 终 ， 它 会 到 达 有 状态 的 实现 
simpleHandler， 它 在 一 个 非 VO 工 作 线 程 中 执行 ， 因 此 也 不 是 CPU 限 定 
的 。SimpleHandler 是 快速 实现 那些 执行 读 取 JSON 格 式 的 数据 、 访 问 数 
据 库 ， 然 后 写 出 一 些 JSON 的 典型 任务 的 端点 的 理想 选择 。 


5。 上 传 请 求 处 理 器 
上 传 请 求 处 理 器 是 整个 Droplr API 服 务 器 的 关键 。 它 是 对 于 重 


塑 vebserver 模 块 一 一 服务 器 的 框架 化 部 分 的 设计 的 响应， 也 是 到 目前 
为 止 整个 技术 栈 中 最 复杂 、 最 优化 的 代码 部 分 。 








在 上 传 的 过 程 中 ， 服 务 器 具有 双重 行为 : 


。 在 一 边 ， 它 充当 了 正在 上 传 文件 的 API 客 户 端的 服务 器 ; 
° a 它 充当 了 S3 的 客户 端 ， 以 推送 它 从 API 客 户 端 接收 的 数 


为 了 充当 客户 中 ， 服 务 需 使 用 了 一 个 同样 使 用 Netty 构 建 的 HITP 客 
户 端 库 蚀 名。 这 个 异步 的 HITP 客 户 端 库 暴 露 了 一 组 完美 匹配 该 服务 器 
的 需求 的 接口 。 它 将 开始 执行 一 个 HTTP 请 求 ， 并 允许 在 数据 变 得 可 用 
I 








14.1.5 性 能 


在 服务 器 的 初始 版 本 完成 之 后 ， 我 运行 了 一 批 性 能 汕 试 。 结 果 简 和 直 
就 是 让 人 兴奋 不 已 。 在 不 断 地 增加 了 难以 置信 的 负载 之 后 ， 我 看 到 新 的 
服务 器 的 上 传 在 峰值 时 相 比 于 旧版 本 的 LAMP 技 术 栈 的 快 了 10 一 12 僧 
完全 数量 级 的 更 快 ) ， 而 且 它 能 够 文 撑 超 过 1000 倍 的 并 发 上 传 ， 总 共 
en 
LE) 


下 面 的 这 些 因素 促成 了 这 一 扩 。 


它 运行 在 一 个 调 优 的 JVM 中 。 
© 瑟 运 行 在 一 个 高 度 调 优 的 目 定 义 技术 栈 中 ， 是 专 为 解决 这 个 问题 而 
创建 的 ， 而 不 是 一 个 通用 的 Web 框 架 。 

该 目 定 义 的 技术 栈 通 过 Netty 使 用 了 NIO 《基于 选择 器 的 模型 ) 构 
建 ， 这 意味 着 不 同 于 每 个 客 忆 站 一 个 进程 的 LAMP 技 术 栈 ， 它 可 以 
扩展 到 上 万 甚至 是 几 十 万 的 并 发 连接 。 
再 也 没有 以 两 个 单独 的 ， 先 接收 一 个 完整 的 文件 ， 然 后 再 将 其 上 传 
到 S3， 的 步 又 所 带 来 的 开销 了。 现在 文件 将 直接 流向 S3。 

因为 服务 器 现在 对 文件 进行 了 流 式 处 理 ， 所 以 : 

o 它 再 也 不 会 花 时 间 在 VO 操作 上 了 ， 即 将 数据 写 入 临时 文件 ， 

并 在 稍 后 的 第 二 阶段 上 传 中 读 取 它们 ; 
E aaa 
行 上 传 。 
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所 有 的 这 一 切 能 够 成 为 可 能 ， 都 得 益 于 Netty 的 难以 置信 的 精心 设 
计 的 API， 以 及 高 性 能 的 非 阻塞 的 VO 架 构 。 


自 2011 年 12 月 推出 Droplr 2.0 以 来 ， 我 们 在 API 级 别 的 宕 机 时 间 几 乎 
为 零 。 在 几 个 月 前 ， 由 于 一 次 既定 的 全 栈 升 级 〈 数 据 库 、 操 作 系 统 、 主 
要 的 服务 器 和 守护 进程 的 代码 库 升 级 ) ， 我 们 中 断 了 已 经 连续 一 年 半 安 
A 
时间。 

这 些 服务 器 日 复 一 日 地 坚挺 着 ， 每 秒 钟 处 理 几 百 个 (有 时 其 至 是 几 


FA) 并 发 请 求 ， 而 同时 还 保持 了 如 此 低 的 内 存 和 CPU 使 有 率 ， 以 至 于 
我 们 都 难以 相信 它们 实际 上 正在 真实 地 做 着 如 此 大 量 的 工作 ; 


14.1.6 小结 











。 CPU 使 用 率 很 少 超过 59%6; 

。 无 法 准确 地 描述 内 存 使 用 率 ， 因 为 进程 启动 时 预 分 配 了 1 GB 的 内 
存 ， 同 时 配置 的 JVM 可 以 在 必要 时 增长 到 2 GB， 而 在 过 去 的 两 年 内 
这 一 次 也 没有 发 生 过 。 


任何 人 都 可 以 通过 增加 机 需 来 解决 菜 个 特定 的 问题 ， 然 而 Netty 帮 
助 了 Droplr 智 能 地 伸缩 ， 并 且 保持 了 相当 低 的 服务 器 账单 。 


14.2 ”Firebase 一 一 实时 的 数据 同步 服务 


Sara Robinson, Developer Happiness 副 总 裁 
Greg Soltis, Cloud Architecture 副 总 裁 


实时 更 新 是 现代 应 用 程序 中 用 户 体 验 的 一 个 组 成 部 分 。 随 着 用 户 期 
望 这 样 的 行为 ， 越 来 越 多 的 应 用 程序 都 正在 实时 地 回 用 户 推送 数据 的 变 
化 。 通 过 传统 的 3 层 架构 很 难 实现 实时 的 数据 同步 ， 其 需要 开发 者 管理 
他 们 自己 的 运 维 、 服 务 器 以 及 伸缩 。 通 过 维护 到 客户 端的 实时 的 、 双 向 
的 通信 ，Firebase 提 供 了 一 种 实时 的 直观 体验 ， 多 许 开 及 人 员 在 几 分 钟 


之 内 路 越 不 同 的 客户 端 进行 应 用 程序 数据 的 同步 一 一 这 一 切 都 不 需要 任 


何 的 后 端 工作 、 服 务 器 、 运 维 或 者 伸缩 。 


实现 这 种 能 力 提 出 了 一 项 艰难 的 技术 挑战 ， 而 Netty 则 是 用 于 在 
Firebase 内 构建 用 于 所 有 网 络 通信 的 底层 框架 的 最 佳 解决 方案 。 这 个 案 
例 研究 概述 了 Firebase 的 架构 ， 然 后 审查 了 Firebase 使 用 Netty 以 文 撑 它 的 
实时 数据 同步 服务 的 3 种 方式 : 





。 长 轮 询 ; 
e HTTP 1.1 keep-alive 和 流水 线 化 ; 
。 控制 SSL 处 理 器 。 


14.2.1 Firebase 的 架构 


Firebase 人 允许 开发 者 使 用 两 层 体系 结构 来 上 线 运行 应 用 程序 。 开 发 
者 只 需要 简单 地 导入 Firebase 库 ， 并 编写 客户 端 代码 。 数 据 将 以 JSON 格 
式 暴露 给 开发 者 的 代码 ， 并 且 在 本 地 进行 缓存 。 该 库 处 理 了 本 地 高 速 组 
存 和 存储 在 Firebase 服 务 器 上 的 主 副 本 (master copy) 之 间 的 同步 。 对 
于 任何 数据 进行 的 更 改 都 将 会 被 实时 地 同步 到 与 Firebase 相 连接 的 潜在 
的 数 十 万 个 客户 问 上 。 跨 多 个 平台 的 多 个 客户 端 之 间 的 以 及 设备 和 
Firebase 之 间 的 交互 如 图 14-3 所 示 。 








图 14-3 ”Firebase 的 架构 


Firebase 的 服务 器 接收 传 入 的 数据 更 新 ， 并 将 它们 立即 同步 给 所 有 
注册 了 对 于 更 改 的 数据 感 兴趣 的 已 经 连接 的 客户 端 。 为 了 启用 状态 更 改 
的 实时 通知 ， 客 户 端 将 会 始终 保持 一 个 到 Firebase 的 活动 连接 。 该 连接 
的 范围 是 : 从 基 於 单个 Netty channe1 的 抽象 到 基于 多 个 channel 的 抽象 ， 
甚至 是 在 客户 问 正 在 切换 传输 类 型 时 的 多 个 并 存 的 抽象 。 


因为 客户 端 可 以 通过 多 种 方式 连接 到 Firebase， 所 以 保持 连接 代码 
的 模块 化 很 重要 。Netty 的 channe1 抽 象 对 于 Firebase 集 成 新 的 传输 来 说 简 
直 是 梦 弥 般 的 构建 块 。 此 外 ， 流 水 线 和 处 理 器 名 模式 使 得 可 以 简单 地 把 
传输 相关 的 细节 隅 离开 来 ， 并 为 应 用 程序 代码 提供 一 个 公共 的 消息 流 抽 
象 。 同 样 ， 这 也 极 大 地 简化 了 添加 新 的 协议 文 持 所 需要 的 工作 。 
Firebase 只 通过 简单 地 添加 几 个 新 的 channeLlHandler 到 channelPipeline 
中 ， 便 添加 了 对 一 种 二 进 制 传输 的 文 持 。 对 于 实现 客户 端 和 服务 器 之 间 
的 实时 连接 而 言 ，Netty 的 速度 、 抽 象 的 级 别 以 及 细 粒 度 的 控制 都 使 得 
它 成 为 了 一 个 的 日 绝 的 框 染 。 


14.2.2 长 轮 询 


Firebase 同 时 使 用 了 长 轮 询 和 WebSocket 传 输 。 长 轮 询 传输 是 高 度 可 
靠 的 ， 和 窗 新 了 所 有 的 浏览 嚣 、 网 络 以 及 运营 商 ， 而 基于 WebSocket 的 传 
输 ， 速 度 更 快 ， 但 是 由 于 浏览 器 /客户 端的 局 限 性 ， 并 不 总 是 可 用 的 。 
开始 时 ，Eirebase 将 会 使 用 长 轮 询 进行 连接 ， 然 后 在 WebSocket 可 用 时 再 
升级 到 WebSocket。 对 于 少数 不 支持 WebSocket 的 Firebase 流 量 ，Firebase 
使 用 Netty 实 现 了 一 个 自 定 义 的 库 来 进行 长 轮 询 ， 并 且 经 过 调 优 具有 非 
常 高 的 性 能 和 啊 应 性 。 


Firebase 的 客户 端 库 罗 辑 处 理 双 辐 消 息 流 ， 并 且 会 在 任意 一 端 关 闭 
流 时 进行 通知 。 虽 然 这 在 TCP 或 者 WebSocket 协 议 上 实现 起 来 相对 人 简 
单 ， 但 是 在 处 理 长 轮 询 传输 时 它 仍然 是 一 项 挑战 。 对 于 长 轮 询 的 场景 来 
说 ， 下 面 两 个 属性 必须 被 严格 地 保证 : 

















o 保证 消息 的 按 顺 序 投递 ; 
。 关闭 通知 。 


1. 保证 消息 的 按 顺 序 投递 
可 以 通过 使 得 在 茶 个 指定 的 时 刻 有 且 只 有 一 个 未 完成 的 请 求 ， 来 实 





现 长 轮 询 的 按 顺 序 投递 。 因 为 客 尸 并 不 会 在 它 收 到 它 的 上 一 个 请 求 的 啊 
应 之 前 及 出 男 一 个 请 求 ， 所 以 这 就 保证 了 它 之 前 所 发 出 的 所 有 消 奶 都 被 
接收 ， 并 且 可 以 安全 地 发 送 更 多 的 请 求 了 。 同 样 ， 在 服务 需 器 ， 直 到 客 
户 端 收 到 之 前 的 啊 应 之 前 ， 将 不 会 发 出 新 的 请 求 。 因 此 ， 总 是 可 以 安全 
地 发 送 绥 存在 两 个 请 求 之 间 的 任何 东西 。 然 而 ， 这 将 导致 一 个 严重 的 缺 
陷 。 使 用 单一 请 求 拉 术 ， 客 户 端 和 服务 嚣 端 部 将 花费 大 量 的 时 间 来 对 消 
奶 进 行 缓冲 。 例 如 ， 如 采 客 户 端 有 新 的 数据 需要 发 送 ， 但 是 这 时 已 经 有 
本 一 个 未 完成 的 请 求 ， 那 么 它 在 及 出 新 请 求 之 前 ， 就 必须 得 等 等 服务 器 
的 啊 应 。 如 果 这 时 在 服务 器 上 没有 可 用 的 数据 ， 则 可 能 需要 很 长 的 时 
间 。 

一 个 更 加 高 性 能 的 解决 方案 则 是 容 恕 更 多 的 正在 并 发 进行 的 请 求 。 


在 实践 中 ， 这 可 以 通过 将 单一 请 求 的 模式 切换 为 最 多 两 个 请 求 的 模式 。 
这 个 算法 包含 了 两 个 部 分 : 




















每 当 客 户 端 有 新 的 数据 需要 发 送 时 ， 它 都 会 发 送 一 个 新 的 请 求 ， 除 
非 己 经 有 了 两 个 请 求 正在 被 处 理 ; 

每 当 服务 器 接收 到 来 自 客户 病 的 请 求 时 ， 如 果 它 已 经 有 了 一 个 来 自 
客户 端的 未 完成 的 请 求 ， 那 么 即使 没有 数据 ， 它 也 将 立即 回应 第 一 


个 请 求 。 


相对 於 单一 请 求 的 模式 ， 这 种 方式 提供 了 一 个 重要 的 改进 ， 客 户 站 
和 服务 占 的 绥 冲 时 间 都 被 限定 在 了 最 多 一 次 的 网 络 往 返 时 间 里 。 


当然 ， 这 种 性 能 的 增加 并 不 是 没有 代价 的 ; 它 导 致 了 代码 复杂 性 的 
相应 增加 。 该 长 轮 询 算法 也 不 再 保证 消息 的 按 顺 序 投递 ， 但 是 一 些 来 自 
TCP 协 议 的 理念 可 以 保证 这 些 消息 的 按 顺 序 投递 。 由 客户 端 及 送 的 每 个 
请 求 都 包含 一 个 序列 号 ， 每 次 请 求 时 都 将 会 递增 。 此 外 ， 每 个 请 求 都 包 
含 了 关于 有 效 负 载 中 的 消息 数量 的 元 数据 。 如 果 一 个 消息 跨越 了 多 个 请 
求 ， 那 么 在 有 效 负 载 中 所 包含 的 消息 的 序号 也 会 被 包含 在 元 数据 中 。 


服务 器 维护 了 一 个 传 入 消息 分 段 的 环形 缓冲 区 ， 在 它们 完成 之 后 ， 
如 果 它 们 之 前 没有 不 完整 的 消息 ， 那 么 会 立即 对 它们 进行 处 理 。 下 行 要 
简单 点 ， 因 为 长 轮 询 传 输 响 应 的 是 HTTP6ET 请 求 ， 而 且 对 于 有 效 载荷 的 
大 小 没有 相同 的 限制 。 在 这 种 情况 下 ， 将 包含 一 个 对 于 每 个 啊 应 都 将 会 
累 增 的 序列 写 。 只 要 客户 并 接收 到 了 达到 指定 序列 写 的 所 有 啊 应 ， 它 区 
可 以 开始 处 理 列 表 中 的 所 有 消息 ;如 果 它 还 没有 收 到 ， 那 么 它 将 缓冲 该 
































列表 ， 直 到 它 接收 到 了 这 些 未 完成 的 响应 。 
2. 关闭 通知 


在 长 轮 询 传输 中 第 二 个 需要 保证 的 属性 是 关闭 通知 。 在 这 种 情况 
下 ， 使 得 服务 器 意识 到 传输 已 经 关闭 ， 明 显要 重要 于 使 得 客户 端 识别 到 
传输 的 关闭 。 客 户 端 所 使 用 的 Firebase 库 将 会 在 连接 断 开 时 将 操作 放 入 
队列 以 便 稍 后 执行 ， 而 且 这 些 被 放 入 队列 的 操作 可 能 也 会 对 其 他 仍然 连 
接着 的 客户 端 造成 影响 。 因 此 ， 知 道 客 户 剖 什么 时 候 实 际 上 已 经 断 开 了 
征 非 常 重要 的 。 实 现 由 服务 器 用 起 的 关闭 操作 是 相对 简单 的 ， 其 可 以 通 
过 使 用 一 个 特殊 的 协议 级 别 的 关闭 消息 啊 应 下 一 个 请 求 来 实现 。 


实现 客户 端的 关闭 通知 是 比较 环 手 的 。 虽 然 可 以 使 用 相同 的 关闭 通 
知 ， 但 是 有 两 种 情况 可 能 会 导致 这 种 方式 失效 : 用 户 可 以 关闭 浏览 器 标 
签 页 ， 或 者 网 络 连 接 也 可 能 会 消失 。 标 签 页 关闭 的 这 种 情况 可 以 通过 
iframe 来 处 理 ，:iframe 会 在 页 面 秋 载 时 发 送 一 个 包含 关闭 消息 的 请 求 。 
第 二 种 情况 则 可 以 通过 服务 器 端 超时 来 处 理 。 小 心 谨慎 地 选择 超时 值 大 
小 很 重要 ， 因 为 服务 器 无 法 区 分 慢 速 的 网 络 和 断 开 的 客户 端 。 也 就 是 
说 ， 对 于 服务 器 来 说 ， 无 法 知道 一 个 请 求 是 被 实际 推迟 了 一 分 钟 ， 还 是 
该 客户 端 竺 失 了 它 的 网 络 连 接 。 相 对 于 应 用 程序 需要 多 快 地 意识 到 断 开 
的 客户 端 来 说 ， 选 取 一 个 平衡 了 误 报 所 带 来 的 成 本 〈 关 闭 慢 速 网 络 上 的 
客户 端的 传输 ) 的 合适 的 超时 大 小 是 很 重要 的 。 


图 14-4 演 示 了 Firebase 的 长 轮 询 传输 是 如 何 处 理 不 同类 型 的 请 求 
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图 14-4 ”长 轮 询 


在 这 个 图 中 ， 每 个 长 轮 询 请 求 都 代表 了 不 同类 型 的 场景 。 最 初 ， 客 
户 端 向 服务 器 发 送 了 一 个 轮 询 〈 轮 询 0) 。 一 段 时 间 之 后 ， 服 务 器 从 系 
统 内 的 其 他 地 方 接收 到 了 发 送 给 该 客户 端的 数据 ， 所 以 它 使 用 该 数据 啊 
应 了 轮 询 0。 在 该 轮 询 返 回 之 后 ， 因 为 客户 端 目前 没有 任何 未 完成 的 请 
求 ， 所 以 客户 器 又 立即 发 送 了 一 个 新 的 轮 询 〈 轮 询 1) 。 过 了 一 小 会 
儿 ， 客 户 端 需要 发 送 数据 给 服务 器 。 因 为 它 只 有 一 个 未 完成 的 轮 询 ， 所 
以 它 又 发 送 了 一 个 新 的 轮 询 〈 轮 询 2) ， 其 中 包含 了 需要 被 递交 的 数 
据 。 根 据 协议 ， 一 旦 在 服务 器 同时 存在 两 个 来 自 相 同 的 客户 并 的 轮 询 
时 ， 它 将 啊 应 第 一 个 轮 询 。 在 这 种 情况 下 ， 服 务 器 没有 任何 已 经 环绕 的 
数据 可 以 用 于 该 客户 端 ， 因 此 它 发 送 回 了 一 个 空 啊 应 。 客 户 端 也 维护 了 














一 个 超时 ， 并 将 在 超时 被 触发 时 发 送 第 二 次 轮 询 ， 即 使 它 没有 任何 额外 
的 数据 需要 发 送 。 这 将 系统 从 四 于 浏览 器 超时 绥 慢 的 请 求 所 导致 的 状 隐 
隔离 开 来 。 


14.2.3 HTTP 1.1 keep-alive 和 流水 线 化 


通过 HTTP 1.1 keep-alive 特 性 ， 可 以 在 同一 个 连接 上 发 送 多 个 请 求 
到 服务 器 。 这 使 得 HTTP 流 水 线 化 一 一 可 以 发 送 新 的 请 求 而 不 必 等 待 来 
自 服务 器 的 啊 应 ， 成 为 了 可 能 。 实 现 对 于 HTTP 流 水 线 化 以 及 keep-alive 
特性 的 支持 通常 是 直截了当 的 ， 但 是 当 混 入 了 长 轮 询 之 后 ， 它 就 明显 变 
得 更 加 复杂 起 来 。 


如 果 一 个 长 轮 询 请 求 紧 跟着 一 个 REST 〈 表 征 状 态 转移 ) 请求， 那 
么 将 有 一 些 注 意 事项 需要 被 考虑 在 内 ， 以 确保 浏览 器 能 够 正确 工作 。 一 
个 channe1l 可 能 会 混和 异步 消息 〈 长 轮 询 请 求 ) 和 同步 消息 (REST 请 
K) 。 当 一 个 channeLl 上 出 现 了 一 个 同步 请 求 时 ，Firebase 必 须 按 顺 序 同 
步 啊 应 该 channel 中 所 有 之 前 的 请 求 。 例 如 ， 如 果 有 一 个 未 完成 的 长 轮 
询 请 求 ， 那 么 在 处 理 该 REST 请 求 之 前 ， 需 要 使 用 一 个 空 操 作对 该 长 轮 
询 传输 进行 啊 应 。 


图 14-5 说 明了 Netty 是 如 何 让 Firebase 在 一 个 套 接 字 上 响应 多 个 请 求 
的 。 








客户 端 服务 器 
Keio 


a n 


REST 


i na 


Kte 


AAT 
n 


图 14-5 ”网 络 图 


如 果 浏 览 句 有 多 个 打开 的 连接 ， 并 且 正 在 使 用 长 轮 询 ， 那 么 它 将 重 
用 这 些 连 接 来 处 理 来 自 这 两 个 打开 的 标签 页 的 消息 。 对 于 长 轮 询 请 求 来 
说 ， 这 是 很 困难 的 ， 并 且 还 需要 受 善 地 管理 一 个 HTTP 请 求 队列 。 长 轮 
询 请 求 可 以 被 中 断 ， 但 是 被 代理 的 请 求 却 不 能 。Netty 使 服务 于 多 种 类 
型 的 请 求 很 轻松 。 








。 静态 的 HITML 页 面 一 一 绥 存 的 内 容 ， 可 以 直接 返回 而 不 需要 进行 处 
理 ; 例子 包括 一 个 单 页 面 的 HTTP 应 用 程序 、robots.txt 和 


crossdomain.xml.» 





REST K——Firebase X FFIR GET. POST. PUT. DELETE. PATCH 
以 及 opPTIONS 请 求 。 

WebSocket 浏览 器 和 Firebase 服 务 器 之 间 的 双 辐 连接 ， 拥 有 它 目 
己 的 分 帧 协议 。 











。 这 些 类 似 于 HTTP 的 6ET 请 求 ， 但 是 应 用 程序 的 处 理 方式 
所 不 同 。 
。 被 代理 的 请 求 一 一 某 些 请 求 不 能 由 接收 它们 的 服务 器 处 理 。 在 这 种 





情况 下 ，Firebase 将 会 把 这 些 请 求 代理 到 集群 中 正确 的 服务 器 。 以 
便 最 终 用 户 不 必 担 心 数据 存储 的 具体 人 位置。 这些 类 似 于 REST 请 求 ， 
但 是 代理 服务 器 处 理 它们 的 方式 有 所 不 同 。 

通过 SSL 的 原始 字 节 个 简单 的 TCP 套 接 字 ， 运 行 Firebase 自 己 
的 分 帧 协议 ， 并 且 优 化 了 握手 过 程 。 


Firebase 使 用 Netty 来 设置 好 它 的 channelPipeline 以 解析 传 入 的 请 
求 ， 并 随后 适当 地 重新 配置 channeLPipeline 剩 余 的 其 他 部 分 。 在 某 些 情 
况 下 ， 如 WebSocket 和 原始 字 节 ， 一 旦 某 个 特定 类 型 的 请 求 被 分 配给 某 
个 channe1l 之 后 ， 它 就 会 在 它 的 整个 生命 周期 内 保持 一 致 。 在 其 他 情况 
下 ， 如 各 种 HTTP 请 求 ， 访 分 配 则 必须 以 每 个 消息 为 基础 进行 路 值 。 同 
一 个 channel 可 以 处 理 REST 请 求 、 长 轮 询 请 求 以 及 被 代理 的 请 求 。 


14.2.4 控制 SslHandler 











Netty 的 SslHandler 类 是 Firebase 如 何 使 用 Netty 来 对 它 的 网 络 通信 进 
行 细 粒 度 控制 的 一 个 例子 。 当 传统 的 Web 技 术 栈 使 用 Apache 或 者 Nginx 
之 类 的 HTTP 服务 喜来 将 请 求 传递 给 应 用 程序 时 ， 传 入 的 SSL 请 求 在 被 
应 用 程序 的 代码 接收 到 的 时 候 就 已 经 被 解码 了 。 在 多 租户 的 架构 体系 
中 ， 很 难 将 部 分 的 加 密 流 量 分 配给 使 用 了 某 个 特定 服务 的 应 用 程序 的 租 
户 。 这 很 复杂 ， 因 为 事实 上 多 个 应 用 程序 可 能 使 用 了 相同 的 加 密 
channel 来 和 Firebase 通 信 〈( 例 如， 用 户 可 能 在 不 同 的 标签 页 中 打开 了 两 
个 Firebase 应 用 程序 ) 。 为 了 解决 这 个 问题 ，Firebase 需 要 在 SSL 请 求 被 
解码 之 前 对 它们 拥有 足够 的 控制 来 处 理 它们 。 


Firebase 基 于 带宽 辐 客 户 进行 收费 。 然 而 ， 对 于 某 个 消息 来 说 ， 在 
SSL 解 密 被 执行 之 前 ， 要 收取 费用 的 账户 通常 是 不 知道 的 ， 因 为 它 被 包 
售 在 加 密 了 的 有 效 负 载 中 。Netty 使 得 Firebase 可 以 在 channelPipeline 中 
的 多 个 位 置 对 流量 进行 拦截 ， 因 此 对 于 字 节 数 的 统计 可 以 从 字 节 刚 被 从 
套 接 字 读 取出 来 时 便 立 即 开 始 。 在 消息 被 解密 并 且 被 Firebase 的 服务 器 

















端 逻辑 处 理 之 后 ， 字 节 计 数 便 可 以 被 分 配给 对 应 的 账户 。 在 构建 这 项 功 
能 时 ，Netty 在 协议 栈 的 每 一 层 上 ， 都 提供 了 对 于 处 理 网 络 通信 的 控 
制 ， 并 且 也 使 得 非常 精确 的 计 费 、 限 流 以 及 速率 限制 成 为 了 可 能 ， 所 有 
的 这 一 切 痢 对 业务 具有 显著 的 影响 。 


Netty 使 得 通过 少量 的 Scala 代 码 便 可 以 拦截 所 有 的 入 站 消 恩 和 出 站 
消息 并 且 统 计 字 市 数 成 为 了 可 能 ， 如 代码 清单 14-3 所 示 。 


代码 清单 14-3 ”设置 channelPipeline 
case class NamespaceTag(namespace: String) 


class NamespaceBandwidthHandler extends ChannelDuplexHandler { 
private var rxBytes: Long = 0 
private var txBytes: Long = 0 
private var nsStats: Option[NamespaceStats] = None 


override def channelRead(ctx: ChannelHandlerContext, msg: Object) 
msg match { 
case buf: ByteBuf => { 
rxBytes += buf.readableBytes( =- -- 当 消 息 传 入 时 ， 统 
计 它 的 字 节 数 


tryFlush(ctx) 


case _ => { } 
} 
super.channelRead(ctx, msg) 


J 


override def write(ctx: ChannelHandlerContext, msg: Object, 
promise: ChannelPromise) { 
msg match { 
ge case buf: ByteBuf => { ~ -- 当 有 出 站 消息 时 ， 同 样 统计 这 些 
W 











txBytes += buf.readableBytes() 
tryFlush(ctx) 
super.write(ctx, msg, promise) 
} 
case tag: NamespaceTag => { =- -- 如 果 接 收 到 了 命名 空间 标 
签 ， 则 将 这 个 channel 关联 到 某 个 账户 ， 记 住 该 账户 ， 并 将 当前 的 字 节 计数 分 配给 它 
updateTag(tag.namespace, ctx) 
} 


case _ => { 
super.write(ctx, msg, promise) 


} 


private def tryFlush(ctx: ChannelHandlerContext) { 
nsStats match { 
case Some(stats: NamespaceStats) => { =- -- 如 果 已 经 有 
了 该 Channel 所 属 的 命名 空间 的 标签 ， 则 将 字 节 计数 分 配给 该 账户 ， 并 重 置 计 数 器 
stats .log0utgoingBytes(txBytes.toInt) 











txBytes = 0 
stats.logIncomingBytes(rxBytes.toInt) 
rxBytes = 0 


case None => { 
// no-op, we don't have a namespace 
Í 


} 
J 


private def updateTag(ns: String, ctx: ChannelHandlerContext) { 


val (_, isLocalNamespace) = NamespaceOwnershipManager .getOwner (ns 
if (isLocalNamespace) { 
nsStats = NamespaceStatsListManager.get(ns) 
tryFlush(ctx) 
} else { 
// Non-local namespace, just flush the bytes 
txBytes = 0 «+ -- 如 果 该 字 节 计数 不 适用 于 这 台 机 器 ， 则 忽略 它 并 重 
置 计数 器 


} 


rxBytes = 0 


} 
} 


14.2.5 ”Firebase 小 结 


在 Firebase 的 实时 数据 同步 服务 的 服务 占 并 架构 中 ，Netty 扮 演 了 不 
可 或 缺 的 角色 。 它 使 得 可 以 支持 一 个 异 构 的 客户 端 生态 系统 ， 其 中 包括 
了 各 种 各 样 的 浏览 器 ， 以 及 完全 由 Firebase 控 制 的 客户 端 。 使 用 Netty， 
Firebase 可 以 在 每 个 服务 器 上 每 秒 钟 处 理 数 以 万 计 的 消息 。Netty 之 所 以 
非常 了 不 起 ， 有 以 下 儿 个 原因 。 








。 它 很 快 。 开 发 原型 只 需要 几 天 时 间 ， 并 且 从 来 不 是 生产 瓶颈 。 





它 的 抽象 层次 具有 良好 的 定位 。Netty 提 供 了 必要 的 细 粒 度 控制 ， 
并 且 人 允许 在 控制 流 的 每 一 步 进行 目 定 义 。 
它 文 持 在 同一 个 端口 上 文 撑 多 种 协议 。HTITP、WebSocket、 长 轮 询 


以 及 独立 的 TCP 协 议 。 
。 它 的 GitHub 库 是 一 流 的 。 精 心 编写 的 Javadoc 使 得 可 以 无 障碍 地 利 
用 它 进行 开发 。 


它 拥 有 一 个 非常 活跃 的 社区 。 社 区 非常 积极 地 修复 问题 ， 并 且 认 真 
地 考虑 所 有 的 反馈 以 及 合并 请 求 。 此 外 ，Netty 团 队 还 提供 了 优秀 
的 最 新 的 示例 代码 。Netty 是 一 个 优秀 的 、 维 护 民 好 的 框架 ， 而且 
它 已 经 成 为 了 构建 和 伸缩 Firebase 的 基础 设施 的 基础 要 素 。 如 果 没 
有 Netty 的 速度 、 控 制 、 抽 象 以 及 了 不 起 的 团队 ， 那 么 Firebase 中 的 
实时 数据 同步 将 无 从 谈 起 。 


14.3 Urban Airship 





构建 移动 服务 
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随 着 智能 手机 的 使 用 以 前 所 未 有 的 速度 在 全 球 范 围 内 不 断 增 长 ， 消 
现 了 大 量 的 服务 提供 商 ， 以 协助 开发 者 和 市 场 人 员 提供 令 人 惊叹 不 已 的 
终端 用 户 体验 。 不 同 于 它们 的 功能 手机 前 右 ， 智 能 手机 淘 求 IP 连接 ， 并 
通过 多 个 渠道 (3G、4G、WiFi、WiMAX 以 及 蓝牙 ) 来 寻求 连接 。 随 着 
越 来 越 多 的 这 些 设备 通过 基于 IP 的 协议 连接 到 公共 网 络 ， 对 于 后 端 服务 
提供 商 来 说 ， 伸 缩 性 、 延 迟 以 及 吞吐 量 方面 的 挑战 变 得 越 来 越 艰 巨 了 。 


值得 庆幸 的 是 ，Netty 非 常 适 用 于 处 理由 随时 在 线 的 移动 设备 的 恢 
群 效 应 所 带 来 的 许多 问题 。 本 节 将 详细 地 介绍 Netty 在 伸缩 移动 开发 人 
员 和 市 场 人 员 平 台 一 一 Urban Airship 时 的 几 个 实际 应 用 。 


14.3.1 oR AAG A AIR 


虽然 市 场 人 员 长 期 以 来 都 使 用 SMS 来 作为 一 种 触 达 移动 设备 的 信 
道 ， 但 是 最 近 一 种 被 称 为 推送 通知 的 功能 正在 迅速 地 成 为 癌 乔 能 手机 发 
送 消 轧 的 首先 机制。 推送 通 知 通 种 使 用 较为 便宜 的 数据 信道 ， 每 条 消 奶 
的 价格 只 是 SMS 费 用 的 一 小 部 分 。 推 送 通知 的 吞吐 量 通 滑 都 比 SMS 融 2 
一 3 个 数量 级 ， 所 以 它 成 为 了 突 发 新 闻 的 理想 信道 。 最 重要 的 是 ， 推 送 
通知 为 用 户 提供 了 设备 驱动 的 对 推送 信道 的 控制 。 如 果 一 个 用 户 不 喜欢 
某 个 应 用 程序 的 通知 消 轧 ， 那 么 用 户 可 以 共用 该 应 用 程序 的 通知 ， 或 者 

















干脆 删除 该 应 用 程序 。 


在 一 个 非常 高 的 级 别 上 ， 设 备 和 推送 通知 行为 之 间 的 交互 类 似 于 图 
14-6 中 所 描述 的 那样 。 





图 14-6 移动 消息 平台 集成 的 高 级 别 视图 


在 高 级 别 上 ， 当 应 用 程序 开发 人 员 想 要 发 送 推送 通知 给 东台 设备 
时 ， 开 发 人 员 必 须要 考虑 存储 有 关 设 备 及 其 应 用 程序 安装 的 信息 巴 。 通 
常 ， 应 用 程序 的 安装 都 将 会 执行 代码 以 检索 一 个 平台 相关 的 标识 人 符 ， 并 
且 将 该 标识 符 上 报 给 一 个 持久 化 该 标识 符 的 中 心 化 服务 。 稍 后 ， 应 用 程 
序 安 装 之 外 的 逻辑 将 会 发 起 一 个 请 求 以 同 该 设备 投递 一 条 消息 。 


一 旦 一 个 应 用 程序 的 安装 已 经 将 它 的 标识 符 注 册 到 了 后 端 服务 ， 那 
么 推送 消息 的 递交 就 可 以 反 过 来 采取 两 种 方式 。 在 第 一 种 方式 中 ， 使 用 
应 用 程序 维护 一 条 到 后 端 服 务 的 直接 连接 ， 消 息 可 以 被 直接 递交 给 应 用 
程序 本 映 。 第 二 种 方式 更 加 常见 ， 在 这 种 方式 中 ， 应 用 程序 将 依赖 第 三 
方 代 表 该 后 端 服 务 来 将 消息 递交 给 应 用 程序 。 在 Urban Airship， 这 两 种 
递交 推送 通知 的 方式 都 有 使 用 ， 而 且 也 都 大 量 地 使 用 了 Netty。 

















14.3.2 P= wrx 


在 第 三 方 推送 递交 的 情况 下 ， 每 个 推送 通知 平台 都 为 开发 者 提供 了 
一 个 不 同 的 API， 来 将 消息 递交 给 应 用 程序 安装 。 这 些 API 有 着 不 同 的 
协议 〈 基 于 二 进 制 的 或 者 基于 文本 的 ) 、 身 份 验证 (OAuth、X.509 等 ) 
以 及 能 力 。 对 于 集成 它们 并 且 达 到 最 佳 的 吞吐 量 ， 每 种 方式 都 有 痢 其 各 
自 不 同 的 挑战 。 


尽管 事实 上 每 个 这 些 提 供 丙 的 根本 目的 都 是 回应 用 程序 递交 通知 消 
恩 ， 但 是 它们 各 目 又 都 采取 了 不 同 的 方式 ， 这 对 系统 集成 商 造 成 了 重大 
的 影响 。 例 如 ， 汪 果 公司 的 Apple 推 送 通知 服务 CAPNS) 定义 了 一 个 严 
格 的 二 进 制 协议 ， 而 其 他 的 提供 商 则 将 它们 的 服务 构建 在 了 茶 种 形式 的 
HTTP 之 上 ， 上 所 有 的 这 些微 妙 变化 都 影响 了 如 何以 最 佳 的 方式 达到 最 大 
的 吞吐 量 。 值 得 庆幸 的 是 ，Netty 是 一 个 灵活 得 令 人 惊奇 的 工具 ， 它 为 
消除 不 同 协议 之 间 的 差异 提供 了 极 大 的 帮助 。 


接 下 来 的 几 节 将 提供 Urban Airship 是 如 何 使 用 Netty 来 集成 两 个 上 面 
所 列 出 的 服务 提供 商 的 例子 。 


14.3.3 ”使 用 二 进 制 协议 的 例子 


苹果 公司 的 APNS 古 一 个 具有 特定 的 网 络 字 节 序 的 有 效 载 答 的 二 进 
制 协议 。 发 送 一 个 APNS 通 知 将 涉及 下 面 的 事件 序列 : 


(1) 通过 SSLv3 连 接 将 TCP 套 接 字 连接 到 APNS 服 务 器 ， 并 用 X.509 
证 书 进行 身份 认证 ; 


(2) 根据 Apple 定 义 的 格式 加， 构造 推送 消息 的 二 进 制 表示 形式 ; 
(3) 将 消息 写 出 到 套 接 字 ; 


(4) 如 果 你 已 经 准备 好 了 确定 任何 和 已 经 发 送 的 消 恩 相关 的 错误 
代码 ， 则 从 套 接 字 中 读 取 ; 


(5) 如果 有 错误 发 生 ， 则 重新 连接 该 套 接 字 ， 并 从 步 又 2 继续 。 


作为 格式 化 二 进 制 消息 的 一 部 分 ， 消 息 的 生产 者 需要 生成 一 个 对 于 
APNS 系 统 透明 的 标识 符 。 一 旦 消息 无 效 〈 如 不 正确 的 格式 、 大 小 或 者 




















设备 信息 ) ， 那 么 该 标识 符 将 会 在 步 又 4 的 错误 啊 应 消息 中 返回 给 客户 
Üi o 


虽然 从 表面 上 看 ， 该 协议 似乎 简单 明了 ， 但 是 想 要 成 功 地 解决 所 有 
上 述 问 题 ， 还 是 有 一 些微 妙 的 细节 ， 尤 其 是 在 JVM_ 上 。 


© APNS 规 范 规定 ， 特 定 的 有 效 载荷 值 需要 以 大 端 字 节 序 进 行 发 送 
《如 令 牌 长 度 ) 。 

。 在 前 面 的 操作 序列 中 的 第 3 步 要 求 两 个 解决 方 末 二 选 一 。 因 为 JVM 
不 允许 从 一 个 已 经 天 闭 的 套 接 字 中 读 取 数 据 ， 即 使 在 输出 缓冲 区 中 
有 数据 存在 ， 所 以 你 有 两 个 选项 。 

o 在 一 次 写 出 操作 之 后 ， 在 该 套 接 字 上 执行 带 有 超时 的 阻塞 读 取 
动作 。 这 种 方式 有 多 个 缺点 ， 有 具体 如 下 。 
a 阻 豆 等 待 错误 消息 的 时 间 长 短 是 不 确定 的 。 错 误 可 能 会 发 

生 在 数 坚 秒 或 者 数秒 之 内 。 

由 于 套 接 字 对 象 无 法 在 多 个 线程 之 间 共 有 部 ， 所 以 在 等 竺 错 

误 消 息 时 ， 对 套 接 字 的 写 操 作 必 须 立 即 阻 蹇 。 这 将 对 厨 叶 

量 造成 巨大 的 影响 。 如 果 在 一 次 套 接 字 写 操作 中 递交 单个 

消息 ， 那 么 在 直到 读 取 超 时 发 生 之 前 ， 该 套 接 字 上 都 不 会 

发 出 更 多 的 消 息 。 当 你 要 递交 数 干 万 的 消 有 息 时 ， 每 个 消息 

之 间 痢 有 3 秒 的 延迟 是 无 法 接受 的 。 

依赖 套 接 字 超时 是 一 项 昂贵 的 操作 。 它 将 导致 一 个 异常 被 

抛 出 ， 以 及 几 个 不 必要 的 系统 调用 。 

o 使 用 寞 步 WO。 在 这 个 模型 中 ， 读 操作 和 写 操作 都 不 会 阻 野 。 
这 使 得 写 入 者 可 以 持续 地 给 APNS 发 送 消 息 ， 同 时 也 允许 操作 
系统 在 数据 可 供 读 取 时 通知 用 户 代码 。 


Netty 使 得 可 以 轻松 地 解决 所 有 的 这 些 问题 ， 同 时 提供 了 令 人 惊叹 
的 吞吐 量 。 


首先 ， 让 我 们 看 看 Netty 是 如 何 简化 使 用 正确 的 字 节 序 打 包 二 进 制 
APNS 消 息 的 ， 如 代码 清单 14-4 所 示 。 


代码 清单 14-4 ApnsMessage 实 现 

















public final class ApnsMessage { 
private static final byte COMMAND = (byte) 1; — -- APNS 消 
轧 总 是 以 一 个 字 节 大 小 的 命令 作为 开始 ， 因 此 该 值 被 编码 为 常量 








public ByteBuf toBuffer() { 
short size = (short) (1 + // Command ©- -- 因为 消息 的 大 小 不 
一 ， 所 以 出 于 效率 考虑 ， 在 ByteBuf 创 建 之 前 将 先 计算 它 
4 + // Identifier 
4 + // Expiry 
2 + // DT length header 
32 + //DS length 
2 + // body length header 
body.length); 





ByteBuf buf = Unpooled.buffer(size).order(ByteOrder.BIG_ENDIAN) ; 
- -- 在 创建 时 ，ByteBuf 的 大 小 正好 ， 并 且 指 定 了 用 于 APNS 的 大 端 字 节 序 

buf.writeByte(COMMAND); =- -- 来 自 于 类 中 其 他 地 方 维护 的 状态 的 各 
种 值 将 会 被 号 入 到 缓冲 区 中 

buf .writeInt(identifier); 

buf .writeInt(expiryTime) ; 

buf.writeShort((short) deviceToken.length); ~ -- 这 个 类 中 
的 deviceToken 字 上 段 (这 里 未 展示 ) 是 一 个 Java 的 byte[] 

buf .writeBytes(deviceToken); 

buf.writeShort((short) body.length); 

buf .writeBytes(body); 

return buf; - -- 当 组 冲 区 已 经 就 绪 时 ， 简 单 地 将 它 返 回 








} 
} 


关于 该 实现 的 一 些 重要 说 明 如 下 。 


@ Java 数 组 的 长 度 属 性 值 始终 是 一 个 整数 。 但 是 ，APNS 协 议 需 要 
一 个 2-byte 值 。 在 这 种 情况 下 ， 有 效 负 载 的 长 度 已 经 在 其 他 的 地 方 验证 
过 了 ， 上 所 以 在 这 里 将 其 强制 转换 为 short 是 安全 的 。 注 意 ， 如 果 没 有 显 
式 地 将 ByteBuf 构 造 为 大 端 字 节 序 ， 那 么 在 处 理 short 和 int 类 型 的 值 时 则 
可 能 会 出 现 各 种 微妙 的 错误 。 


© ”不 同 于 标准 的 java.nio.ByteBuffer， 没 有 必要 翻转 忆 缓 冲 区 ， 
也 没 必要 关心 它 的 位 置 Netty 的 ByteBuf 将 会 自动 管理 用 于 读 取 和 写 
入 的 位 置 。 


使 用 少量 的 代码 ，Netty 已 经 使 得 创建 一 个 格式 正确 的 APNS 消 息 的 
过 程 变 成 小 事 一 桩 了 。 因 为 这 个 消息 现在 已 经 被 打包 进 了 一 
个 ByteBuf， 所 以 当 消 息 准 备 好 发 送 时 ， 便 可 以 很 容易 地 被 直接 写 入 连 
接 了 APNS 的 channel。 





可 以 通过 多 重 机 制 连接 APNS， 但 是 最 基本 的 ， 是 需要 一 个 使 
用 sslHandler 和 人 解码 器 来 填充 channelPipeline 的 channelInitializer,， 
如 代码 清单 14-5 所 示 。 


代码 清单 14-5 ”设置 channelPipeline 


public final class ApnsClientPipelineInitializer 
extends ChannelInitializer<Channel> { 
private final SSLEngine clientEngine; 


public ApnsClientPipelineFactory(SSLEngine engine) { - - 
- “一 个 X.509 认证 的 请 求 需 要 一 个 javax.net.ssl.SSLEngine 类 的 实例 
this.clientEngine = engine; 
} 


@Override 
public void initChannel(Channel channel) throws Exception { 
final ChannelPipeline pipeline = channel.pipeline(); 

final SslHandler handler = new SslHandler(clientEngine); 
- -- ”构造 一 个 Netty 的 SslHandler 

handler.setEnableRenegotiation(true);  -- APNS 将 尝试 在 
连接 后 不 久 重 新 协商 SSL， 需 要 允许 重新 协商 

pipeline.addLast("ssl", handler); 

pipeline.addLast("decoder", new ApnsResponseDecoder()); 
Eai 这 个 类 扩展 了 Netty 的 ByteToMessageDecoder， 并 且 处 理 了 APNS 返回 
一 个 错误 代码 并 断 开 连接 的 情况 

} 


} 









































值得 注意 的 是 ，Netty 使 得 协商 结合 了 异步 WO 的 X.509 认 证 的 连接 变 
得 多 么 的 容易 。 在 Urban Airship 早 期 的 没有 使 用 Netty 的 原型 APNS 的 代 
码 中 ， 协 商 一 个 异步 的 X.509 认 证 的 连接 需要 80 多 行 代 码 和 一 个 线程 
池 ， 而 这 只 仅仅 是 为 了 创建 连接 。Netty 隐 藏 了 所 有 的 复杂 性 ， 包 括 SSL 
握手 、 身 份 验证 、 最 重要 的 将 明文 的 字 节 加 密 为 密 文 ， 以 及 使 用 SSL 所 
带 来 的 密 钥 的 重新 协商 。 这 些 JDK 中 异常 无 聊 的、 容易 出 错 的 并 且 缺 乏 
文档 的 API 都 被 隐藏 在 了 3 行 Netty 代 码 之 后 。 


在 Urban Airship， 在 所 有 和 众多 的 包括 APNS 以 及 Google 的 GCM 的 
第 三 方 推送 通知 服务 的 连接 中 ，Netty 都 扮演 了 重要 的 角色 。 在 每 种 情 
况 下 ，Netty 都 足够 灵活 ， 人 允许 显 式 地 控制 从 更 高 级 别 的 HITP 的 连接 行 
为 到 基本 的 套 接 字 级 别 的 配置 (如 TCP ”keep-alive 以 及 套 接 字 缓冲 区 大 
小 ) 的 集成 如 何 生 效 。 





143.4 直接 面 问 设备 的 递交 


上 一 市 提供 了 Urban Airship 如 何 与 第 三 方 集成 以 进行 消息 递交 的 内 





部 细节 。 在 谈 及 图 14-6 时 ， 需 要 注意 的 是 ， 将 消息 递交 到 设备 有 两 种 方 


Ts 


除了 通过 第 三 方 来 递交 消息 之 外 ，Urban Airship 还 有 直接 作为 消息 


递交 信道 的 经 验 。 在 作为 这 种 角色 时 ， 单 个 设备 将 直接 连接 Urban 
Airship 的 基础 设施 ， 绕 过 第 三 方 提供 两。 这 种 方式 也 达 来 了 一 组 截然 不 
同 的 挑战 。 





由 移动 设备 发 出 的 套 接 字 连 接 往往 是 短暂 的 。 根 据 不 同 的 条 件 ， 移 
动 设备 将 频 党 地 在 不 同类 型 的 网 络 之 间 进 行 切换 。 对 于 移动 服务 的 
后 端 提 供 商 来 说 ， 设 备 将 不 断 地 重新 连接 ， 并 将 感受 到 短暂 而 又 频 
繁 的 连接 周期 。 

跨 平 台 的 连接 性 是 不 规则 的 。 从 网 络 的 角度 来 看 ， 平 板 设备 的 连接 
性 往往 表现 得 和 移动 电话 不 一 样 ， 而 对 比 于 台式 计算 机 ， 移 动 电话 
的 连接 性 的 表现 又 不 一 样 。 

移动 电话 向 后 并 服务 提供 商 更 新 的 频率 一 定 会 增加 。 移 动 电话 越 来 
越 多 地 被 应 用 于 日 第 任务 中 ， 不 仅 产 生 了 大 量 和 常规 的 网 络 流量 ， 而 
且 也 为 后 端 服务 提供 商 提 供 了 大 量 的 分 析 数 据 。 

电池 和 带宽 不 能 被 忽略 。 不 同 于 传统 的 桌面 环境 ， 移 动 电话 通 各 使 
用 有 限 的 数据 流量 包 。 服 务 提 供 商 必须 要 尊重 最 终 用 户 只 有 有 限 的 
电池 使 用 时 间 ， 而 且 他 们 使 用 昂 贯 的 、 速 率 有 限 的 〈 蜂 帘 移 动 数据 
网 络 ) 带宽 这 一 事实 。 洲 用 两 者 之 一 都 通常 会 导致 应 用 被 芭 载 ， 这 
对 于 移动 开 用 人 员 来 说 可 能 是 最 坏 的 结果 了 。 

基础 设施 的 所 有 方面 都 需要 大 规模 的 伸缩 。 随 痢 移 动 设备 普及 程度 
的 不 断 增 加 ， 更 多 的 应 用 程序 安装 量 将 会 导致 更 多 的 到 移动 服务 的 
基础 设施 的 连接 。 由 于 移动 设备 的 庞大 规模 和 增长 ， 这 个 列表 中 的 
每 一 个 前 面 提 到 的 元 素 都 将 变 得 您 加 复杂 。 


随 着 时 间 的 推移 ，Urban Airship 从 移动 设备 的 不 断 增 长 中 学 到 了 几 











点 关键 的 经 验 教训 : 





。 移动 运营 商 的 多 样 性 可 以 对 移动 设备 的 连接 性 造成 巨大 的 影 啊 ; 
。 许多 运营 商都 不 允许 TCP 的 keep-alive 特 性 ， 因 此 许多 运营 商都 会 积 





极地 剔除 空 几 的 TCP 会 话 ; 





。 UDP 不 是 一 个 可 行 的 同 移 动 设备 发 送 消 息 的 信道 ， 因 为 许多 的 运营 


商都 禁止 它 ; 


。SSLv3 所 带 来 的 开销 对 于 短暂 的 连接 来 说 是 巨大 的 痛苦 。 


鉴于 移动 增长 的 挑战 ， 以 及 Urban Airship 的 经 验 教 训 ，Netty 对 于 实 
现 一 个 移动 消 恩 平台 来 说 简直 就 是 天 作 之 合 ， 原 因 将 在 以 下 各 节 强 调 。 


14.3.5 ”Netty 擅 长 管理 大 量 的 并 发 连接 


如 上 一 节 中 所 提 到 的 ，Netty 使 得 可 以 轻松 地 在 JVM 平 台 上 支持 异 
步 JO。 因 为 Netty 运 行 在 JVM 之 上 ， 并 且 因 为 JVM 在 Linux 上 将 最 终 使 用 
Linux 的 epoll 方 面 的 设施 来 管理 套 接 字 文件 描述 符 中 所 感 兴趣 的 事件 
(interest) ， 所 以 Netty 使 得 开发 者 能 够 轻松 地 接受 大 量 打开 的 套 接 字 
每 一 个 Linux 进 程 将 近 一 百 万 的 TCP 连 接 ， 从 而 适应 快速 增长 的 移 
动 设 备 的 规模 。 有 了 这 样 的 伸缩 能 力 ， 服 务 提 供 商 便 可 以 在 保持 低 成 本 
的 同时 ， 人 允许 大 量 的 设备 连接 到 物理 服务 器 上 的 一 个 单独 的 进程 H9。 


在 受 控 的 测试 以 及 优化 了 配置 选项 以 使 用 少量 的 内 存 的 条 件 下 ， 一 
个 基于 Netty 的 服务 得 以 容纳 略 少 于 100 万 〈 约 为 998 000) 的 连接 。 在 这 
种 情况 下 ， 这 个 限制 从 根本 上 来 说 是 由 于 Linux 内 核 强 制 硬 编码 了 每 个 
进程 限制 100 万 个 文件 句柄 。 如 果 JVM 本 身 没 有 持 有 大 量 的 套 接 字 以 及 
用 于 JAR 文 件 的 文件 描述 符 ， 那 么 该 服务 器 可 能 本 能 够 处 理 更 多 的 连 
接 ， 而 所 有 的 这 一 切 都 在 一 个 4GB 大 小 的 堆 上 。 利 用 这 种 效能 ，Urban 
Airship 成 功 地 维持 了 超过 2000 万 的 到 它 的 基础 设施 的 持久 化 的 TCP 套 接 
字 连 接 以 进行 消息 递交 ， 所 有 的 这 一 切 都 只 使 用 了 少量 的 服务 器 。 


值得 注意 的 是 ， 虽 然 在 实践 中 ， 一 个 单一 的 基于 Netty 的 服务 便 能 
够 处 理 将 近 1 百 万 的 入 站 TCP 套 接 字 连接 ， 但 是 这 样 做 并 不 一 定 束 是 务 
实 的 或 者 明智 的 。 如 同 分 布 式 计算 中 的 所 有 陷阱 一 样 ， 主 机 将 会 失败 、 
进程 将 需要 重新 局 动 并 且 将 会 及 生 不 可 预期 的 行为 。 由 于 这 些 现实 的 问 
题 ， 适 当 的 容量 规划 意味 着 需要 考虑 到 单个 进程 失败 的 后 末 。 


跨越 防火 墙 边 界 

我 们 已 经 演示 了 两 个 在 Urban Airship 内 部 网 络 中 每 天 都 会 使 用 Netty 
的 场景 。Netty 适 合 这 些 用 途 ， 并 且 工 作 得 非常 出 色 ， 但 在 Urban Airship 
内 部 的 许多 其 他 的 组 件 中 也 有 它 作 为 脚手架 存在 的 身影 。 


1. 内 部 的 RPC 框 架 









































14.3.6 Urban Airship 小 结 





Netty 一 直 都 是 Urban Airship 内 部 的 RPC 框 架 的 核心 ， 其 一 直 都 在 不 
呈 进 化 。 今 天 ， 这 个 框架 每 秒 钟 可 以 处 理 数 以 十 万 计 的 请 求 ， 并 且 拥 有 
相当 低 的 延迟 以 及 杰出 的 吞吐 量 。 几 乎 每 个 由 Urban ”Airship 发 出 的 API 
请 求 都 经 由 了 多 个 后 端 服务 处 理 ， 而 Netty 正 是 所 有 这 些 服 务 的 核心 。 


2. 负载 和 性 能 测试 


Netty 在 Urban Airship 己 经 被 用 于 几 个 不 同 的 负载 测试 框架 和 性 能 测 
试 框 架 。 例 如 ， 在 测试 前 面 所 描述 的 设备 消息 服务 时 ， 为 了 仿真 数 百 万 
的 设备 连接 ，Netty 和 一 个 Redis 实 例 Chttp://redis.io/) 相 结合 使 用 ， 以 最 
小 的 客户 端 足迹 《负载 ) 测试 了 端 到 端的 消息 吞吐 量 。 


3. 同步 协议 的 异步 客户 端 


对 于 一 些 内 部 的 使 用 场景 ，Urban Airship 一 直 都 在 尝试 使 用 Netty 来 
为 典型 的 同步 协议 创建 异步 的 客户 端 ， 包 括 如 Apache 
Kafka (http://kafka.apache.org/) 以 及 
Memcached Chttp://memcached.org/) 这样 的 服务 。Netty 的 灵活 性 使 得 我 
们 能 够 很 容易 地 打造 天 然 异 步 的 客户 端 ， 并 且 能 够 在 真正 的 异步 或 同步 
的 实现 之 间 来 回 地 切换 ， 而 不 需要 更 改 任何 的 上 游 代码 。 


总 而 言 之 ，Netty 一 直 都 是 Urban Airship 服 务 的 基石 。 其 作者 和 社区 
都 是 极其 出 色 的 ， 并 为 任何 需要 在 JVM 上 进行 网 络 通信 的 应 用 程序 ， 创 
造 了 一 个 真正 意义 上 的 一 流 框架 。 














14.4 ”小结 








本 章 旨 在 揭示 真实 世界 中 的 Netty 的 使 用 场景 ， 以 及 它 是 如 何 帮 助 
这 些 公 司 解 决 了 重大 的 网 络 通信 问题 的 。 值 得 注意 的 是 ， 在 所 有 的 场景 
下 ，Netty 都 不 仅 是 被 作为 一 个 代码 框架 而 使 用 ， 而 且 还 是 开发 和 架构 
最 佳 实践 的 重要 组 成 部 分 。 

在 下 一 章 中 ， 我 们 将 介绍 由 Facebook 和 Twitter 所 贡献 的 案例 研究 ， 
描述 两 个 开源 项 目 ， 这 两 个 项 目 是 从 基于 Netty 的 最 初 被 开发 用 来 满足 
内 部 需求 的 项 目 演化 而 来 的 。 








U 一 个 典型 的 应 用 程序 技术 栈 的 站 字母 缩写 : 由 Linux、Apache Web 


Server、MYySQL 以 及 PHP 的 首 字母 组 成 。 
[2] 指 客户 端 和 服务 器 之 间 的 连接 。 一 一 译 者 注 
[3] 指 RequestHandler。 一 一 译 者 注 


[4] 你 可 以 在 https://github.com/brunodecarvalho/http-client 找 到 这 个 HTTP 
客户 端 库 。 


[5] 上 一 个 脚注 中 提 到 的 这 个 HTTP 客 户 端 库 已 经 废弃 ， 推 荐 
AsyncHttpClient Chttps://github.com/AsyncHttpClient/ async-http-client) 
和 Akka-HTTP Chttps://github.com/akka/akka-http) ， 它 们 都 实现 了 相同 
的 功能 。 一 一 译 者 注 


[6] ¢§ChannelPipeline#llchannelHandler © 一 一 译 者 注 


[27] 茶 些 移动 操作 系统 允许 一 种 被 称 为 本 地 推送 的 推送 通知 ， 可 能 个 会 
如 循 这 种 做 法 。 


http://docs.aws.amazon.com/sns/latest/dg/mobile-push- Soave 


http://bit.ly/189mmpG - 





[9] 即 调用 ByteBuffer 的 flip(0) 方 法 。 一 一 译 者 注 


[10] 注意 ， 在 这 种 情况 下 物理 服务 器 的 区 别 。 尽 管 虚 拟 化 提供 了 许多 的 
好 处 ， 但 是 领先 的 云 计算 提供 商 仍然 未 能 支持 到 单个 虚拟 主机 超过 200 
000~300 000 的 并 发 TCP 连 接 。 当 连接 达到 或 者 超过 这 种 规模 时 ， 建 议 
使 用 裸 机 (bare metal) 服务 器 ， 并 旦 密切 关注 网 络 接口 卡 (Network 
Interface Card, NIC) 提供 商 。 





第 15 章 ”案例 研究 ， 第 二 部 分 


本 章 主要 内 容 


e Facebook 的 案例 研究 
。 Twitter 的 案例 研究 
在 本 章 中 ， 我 们 将 看 到 Facebook 和 Twitter 〈 两 个 最 流行 的 社交 网 
络 ) 是 如 何 使 用 Netty 的 。 他 们 都 利用 了 Netty 灵 活 和 通用 的 设计 来 构建 
框架 和 服务 ， 以 满足 对 极端 伸缩 性 以 及 可 扩展 性 的 需求 。 
这 里 所 呈现 的 案例 研究 都 是 由 那些 负责 设计 和 实现 所 述 解 决 方案 的 
工程 师 所 撰写 的 。 


15.1 Netty 在 Facebook 的 使 用 ，Nifty 和 Swift 


Andrew Cox，Facebook 软 件 工程 师 


在 Facebook， 我 们 在 我 们 的 几 个 后 端 服务 中 使 用 了 Netty (用 于 人 处理 
来 自 手机 应 用 程序 的 消息 通信 、 用 于 HTTP 和 客户 端 等 ) ， 但 是 我 们 增长 
最 快 的 用 法 还 是 通过 我 们 所 开发 的 用 来 构建 Java 的 Thrift 服 务 的 两 个 新 杠 
架 : Nifty 和 Swift。 





15.1.1 什么 是 Thrift 


Thrift 是 一 个 用 来 构建 服务 和 客户 端的 框架 ， 其 通过 远程 过 程 调 用 
(RPC) 来 进行 通信 。 它 最 初 是 在 Facebook 开 发 的 外 ， 用 以 满足 我 们 构 
建 能 够 处 理 客 户 端 和 服务 器 之 间 的 特定 类 型 的 接口 不 匹配 的 服务 的 需 
要 。 这 种 方式 十 分 便捷 ， 因 为 服务 器 和 它们 的 客户 站 通常 不 能 全 部 同时 


升级 。 


Thrift 的 男 一 个 重要 的 特点 是 它 可 以 被 用 于 多 种 语言 。 这 使 得 在 
Facebook 的 团队 可 以 为 工作 选择 正确 的 语言 ， 而 不 必 担 心 他 们 是 人 否 能 够 
找到 和 其 他 的 服务 相互 交互 的 客户 端 代码 。 在 Facebook，Thrift 己 经 成 
为 我 们 的 后 端 服务 之 间 相 互通 信 的 主要 方式 之 一 ， 同 时 和 它 还 被 用 于 非 
RPC 的 序列 化 任务 ， 因 为 它 提供 了 一 个 通用 的 、 紧 次 的 存储 格式 ， 能 够 
被 多 种 语言 读 取 ， 以 便 后 续 处 理 。 


自从 Thrift 在 Facebook 被 开发 以 来 ， 它 已 经 作为 一 个 Apache 项 目 
《http://thrift.apache.org/〉 开 源 了 ， 在 那里 它 将 继续 成 长 以 满足 服务 开 
发 人 员 的 需要 ， 不 止 在 Facebook 有 使 用 ， 在 其 他 公司 也 有 使 用 ， 如 
Evernote 和 1last.fmbBl， 以 及 主要 的 开源 项 目 如 Apache Cassandra 和 HBase 


af 











下 面 是 Thrift 的 主要 组 件 : 


e Thrift 的 接口 定义 语言 (IDL) 一 一 用 来 定义 你 的 服务 ， 并 且 编 排 你 
的 服务 将 要 发 送 和 接收 的 任何 自 定 义 类 型 ， 

。 协议 一 一 用 来 控制 将 数据 元 素 编码 /解码 为 一 个 通用 的 二 进 制 格式 

(如 Thrift 的 二 进 制 协议 或 者 JSON ; 

e 传输 一 一 提供 了 一 个 用 于 读 / 写 不 同 媒体 (如 TCP 套 接 字 、 管 道 、 内 
存 缓冲 区 〉 的 通用 接口 ; 

。 Thrift 编 译 器 一 ”解析 Thrift 的 IDL 文 件 以 生成 用 于 服务 器 和 客户 端 
an 以 及 在 IDL 中 定义 的 自 定 义 类 型 的 序列 化 / 反 序列 化 代 

© 服务 器 实现 一 一 处 理 接 受 连 接 、 从 这 些 连接 中 读 取 请 求 、 派 发 调用 
到 实现 了 这 些 接口 的 对 象 ， 以 及 将 啊 应 发 回 给 客户 端 ; 

。 客户 端 实现 一 将 方法 调用 转换 为 请 求 ， 并 将 它们 发 送 给 服务 器 。 


15.1.2 ”使 用 Netty 改 善 Java Thrift 的 现状 


Thrift 的 Apache 分 发 版 本 已 经 被 移植 到 了 大 约 20 种 不 同 的 语言 ， 而 
且 还 有 用 于 其 他 语言 的 和 Thrift 相 互 兼容 的 独立 框架 〈Twitter 的 用 于 
Scala 的 Finagle 便 是 一 个 很 好 的 例子 ) 。 这 些 语言 中 的 一 些 在 Facebook 多 
多 少 少 有 被 使 用 ， 但 是 在 Facebook 最 常用 的 用 来 编写 Thrift 服 务 的 还 是 
C++ 和 Java。 























当 我 加 入 Facebook 时 ， 我 们 已 经 在 使 用 C++ 围绕 着 libevent， 顺 利 地 
开发 可 靠 的 、 高 性 能 的 、 异 步 的 Thrift 实 现 了 。 通 过 libevent， 我 们 得 到 
了 OS ”API 之 上 的 跨 平台 的 异步 WO 抽象 ， 但 是 libevent 并 不 会 比 ， 比 如 
说 ， 原 始 的 Java ”NIO， 更 加 容易 使 用 。 因 此 ， 我 们 也 在 其 上 构建 了 抽 
象 ， 如 异步 的 消息 信道 ， 同 时 我 们 还 使 用 了 来 自 Folly 负 的 链 式 缓冲 区 尽 
可 能 地 避免 复制 。 这 个 框架 还 共有 一 个 文 持 带 有 多 路 复 用 的 异步 调用 的 
客户 端 实现 ， 以 及 一 个 支持 异步 的 请 求 处 理 的 服务 器 实现 。〔 该 服务 器 
可 以 启动 一 个 异步 任务 来 处 理 请 求 并 立即 返回 ， 随 后 在 响应 就 绪 时 调用 
一 个 回调 或 者 稍 后 设置 一 个 Future。 ) 


同时 ， 我 们 的 Java ”Thrift 框架 却 很 少 受到 关注 ， 而 且 我 们 的 负载 测 
试 工 具 显 示 Java 版 本 的 性 能 明显 落后 于 C++ 版 本 。 昌 然 已 经 有 了 构建 于 
NIO 之 上 的 Java Thrift 框 架 ， 并 且 异 步 的 基于 NIO 的 客户 端 也 可 用 。 但 是 
该 客户 端 不 支持 流水 线 化 以 及 请 求 的 多 路 复 用 ， 而 服务 器 也 不 支持 异步 
的 请 求 处 理 。 由 于 这 些 缺 失 的 特性 ， 在 Facebook， 这 里 的 Java ”Thrift 服 
务 开发 人 员 遇 到 了 那些 在 C++ (的 Thrift 框 架 〉 中 已 经 解决 了 的 问题 ， 并 
且 它 也 成 为 了 挫败 感 的 源泉 。 


我 们 本 来 可 以 在 NIO 之 上 构建 一 个 类 似 的 自 定 义 框 架 ， 并 在 那 之 上 
构建 我 们 新 的 Java “Thrift 实 现 ， 束 如 同 我 们 为 C++ 版 本 的 实现 所 做 的 一 
样 。 但 是 经 验 告 诉 我 们 ， 这 需要 巨大 的 工作 量 才 能 完成 ， 不 过 磅 巧 ， 我 
们 所 需要 的 框架 已 经 存在 了 ， 只 等 着 我 们 去 使 用 它 : Netty. 


我 们 很 快 地 组 装 了 一 个 服务 器 实现 ， 并 且 将 名 
字 <Netty* 和 “Thrift" 混 在 一 起 ， 为 新 的 服务 器 实现 提出 了 “Nifty” 这 个 名 
字 。 相 对 于 在 C++ 版 本 中 达到 同样 的 效果 我 们 所 需要 做 的 一 切 ， 那 么 少 
的 代码 便 可 以 使 得 Nifty 工 作 ， 这 立即 就 让 人 印象 深刻 。 


接 下 来 ， 我 们 使 用 Nifty 构 建 了 一 个 简单 的 用 于 负载 测试 的 Thrift 服 
务 器 ， 并 且 使 用 我 们 的 负载 测试 工具 ， 将 它 和 我 们 现 有 的 服务 器 进行 了 
对 比 。 结 果 是 显而易见 的 : Nifty 的 表现 要 优 于 其 他 的 NIO 服 务 器 ， 而 且 
和 我 们 最 新 的 C++ 版 本 的 Thrift 服 务 器 的 结果 也 不 差 上 下 。 使 用 Netty 就 


是 为 了 要 提高 性 能 ! 
15.1.3 Nifty 服 务 器 的 设计 


Nifty (https:/github.comy/facebooknifty) 是 一 个 开源 的 、 使 用 
Apache 许 可 的 、 构 建 于 Apache Thrift 库 之 上 的 Thrift 客 户 端 /服务 器 实 


























现 。 它 被 专门 设计 ， 以 便 无 缝 地 从 任何 其 他 的 Java Thrift 服务 器 实现 迁 
移 过 来 : 你 可 以 重用 相同 的 Thrift IDL 文 件 、 相 同 的 Thrift 代 码 生 成 器 
(与 Apache Thrift 库 打包 在 一 起 ) ， 以 及 相同 的 服务 接口 实现 。 唯 一 真 
正 需要 改变 的 只 是 你 的 服务 器 的 局 动 代码 (Nifty 的 设置 风格 与 Apache 
Thrift 中 的 传统 的 Thrift 服 务 器 实现 稍微 有 所 不 同 〉。 


1. Nifty 的 编码 器 /解码 丹 


默认 的 Nifty 服 务 右 能 处 理 普 通 消息 或 者 分 帧 消 轧 〈 带 有 4 字 市 的 前 
级 ) 。 它 通过 使 用 自 定 义 的 Netty 帧 解码 器 做 到 了 这 一 点 ， 其 首先 但 看 
前 儿 个 字 节 ， 以 确定 如 何 对 剩余 的 部 分 进行 解码 。 然 后 ， 当 发 现 了 一 个 
完整 的 消 轧 时 ， 解 码 器 将 会 把 消息 的 内 容 和 一 个 指示 了 消 妃 类 型 的 字段 
ee 

















Nifty 还 文 持 接 驱 你 自己 的 目 定 义 编 解码 占 。 例 如 ， 我 们 的 一 些 服 务 
使 用 了 目 定 义 的 纺 解 码 需 来 从 客 尸 站 在 每 条 消 妃 前 面 所 插入 的 头 部 中 读 
取 额 外 的 信息 《包含 可 选 的 元 数据 、 客 户 端 的 能 力 等 ) 。 解 码 器 也 可 以 
被 方便 地 扩展 以 处 理 其 他 类 型 的 消息 传输 ， 如 HITP。 


2. 在 服务 器 上 排序 啊 应 


Java Thrift 的 初始 版 本 使 用 了 OIO 套 接 字 ， 并 且 服 务 器 为 每 个 活动 连 
接 都 维护 了 一 个 线程 。 使 用 这 种 设置 ， 在 下 一 个 啊 应 被 读 取 之 前 ， 每 个 
请 求 都 将 在 同一 个 线程 中 被 读 取 、 处 理 和 应 答 。 这 保证 了 啊 应 将 总 会 以 
对 应 的 请 求 所 到 达 的 顺序 返回 。 


较 新 的 异步 /O 的 服务 器 实现 诞生 了 ， 其 不 需要 每 个 连接 一 个 线 
程 ， 而 且 这 些 服务 器 可 以 处 理 更 多 的 并 发 连接 ， 但 是 客户 端 仍然 主要 使 
用 同步 WO， 因 此 服务 器 可 以 期 望 它 在 发 送 当 前 啊 应 之 前 ， 不 会 收 到 下 
一 个 请 求 。 这 个 请 求 /执行 流 如 图 15-1 所 示 。 


Legii RIRA 
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图 15-1 同步 的 请 求 / 啊 应 流 


客户 问 最 初 的 伪 异 步 用 法 开始 于 一 些 Thrift 用 户 利 用 的 一 项 事实 : 
对 于 一 个 生成 的 客户 端 方法 foo( ) 来 说 ， 方法 send_foo( ) 和 recv_foo( ) 将 
会 被 单独 暴露 出 来 。 这 使 得 Thrift 用 户 可 以 发 送 多 个 请 求 〈 无 论 是 在 多 
个 客户 端 上 ， 还 是 在 同一 个 客户 端 上 ) ， 然 后 调用 相应 的 接收 方法 来 开 
始 等 竺 并 收集 结果 。 


在 这 个 新 的 场景 下 ， 服 务 需 可 能 会 在 它 完 成 处 理 第 一 个 请 求 之 前 ， 
从 单个 客户 端 读 取 多 个 请 求 。 在 一 个 理想 的 世界 中 ， 我 们 可 以 假设 所 有 
流水 线 化 请 求 的 异步 Thrift 客 户 闪 都 能 够 处 理 以 任意 顺序 到 达 的 这 些 请 
求 所 对 应 的 啊 应 。 然 而 ， 在 现实 生活 中 ， 虽 然 新 的 客户 端 可 以 处 理 这 种 
情况 ， 而 那些 旧 一 点 的 卉 步 Thrift 客 户 端 可 能 会 写 出 多 个 请 求 ， 但 是 必 
须要 求 按 顺序 接收 啊 应 。 


这 种 问题 可 以 通过 使 用 Netty 4 的 EventExecutor 或 者 Netty 3.x 中 的 
OrderedMemory-AwareThreadPoolExcecutor 解 决 ， 其 能 够 保证 顺序 地 处 
理 同一 个 连接 上 的 所 有 传 入 消 奶 ， 而 不 会 强制 所 有 这 些 消 奶 都 在 同一 个 


图 15-2 展 示 了 流水 线 化 的 请 求 是 如 何 被 以 正确 的 顺序 处 理 的 ， 这 也 
束 意 味 着 对 应 于 第 一 个 请 求 的 啊 应 将 会 被 涌 先 返回 ， 然 后 是 对 应 于 第 二 
个 请 求 的 啊 应 ， 以 此 类 推 。 
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图 15-2 ”对 于 流水 线 化 的 请 求 的 顺序 化 处 理 的 请 求 / 吧 应 流 


尽管 Nifty 有 着 特殊 的 要 求 : 我 们 的 目标 是 以 客户 端 能够 处 理 的 最 佳 
的 啊 应 顺序 服务 于 每 个 客户 闻 。 我 们 希望 允许 用 于 来 自 於 单个 连接 上 的 
多 个 流水 线 化 的 请 求 的 处 理 器 能 够 被 并 行 处 理 ， 但 是 那样 我 们 又 控制 不 
了 这 些 处 理 器 完成 的 先后 顺序 。 

相反 ， 我 们 使 用 了 一 种 涉及 缓冲 啊 应 的 方案 ， 如 果 客 户 端 要 求 保持 


顺序 的 咽 应 ， 我 们 将 会 缓冲 后 续 的 啊 应 ， 直 到 所 有 较 早 的 啊 应 也 可 用 ， 
然后 我 们 将 按照 所 要 求 的 顺序 将 它们 一 起 发 送出 去 。 见 图 15-3 所 示 。 
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图 15-3 ”对 于 流水 线 化 的 请 求 的 并 行 处 理 的 请 求 / 啊 应 流 


当然 ，Nifty 包 括 了 实 实在 在 文 持 无 序 啊 应 的 异步 channel〈 可 以 通 
过 Swift 使 用 ) 。 当 使 用 能 够 让 客户 端 通知 服务 器 此 客户 端的 能 力 的 自 定 
义 的 传输 时 ， 服 务 器 将 会 免除 缓冲 啊 应 的 负担 ， 并 且 将 以 请 求 完成 的 任 
意 顺 序 把 它们 发 送 回 去 。 


15.1.4 Nifty 异 步 客 户 端的 设计 


Nifty 的 客户 端 开 发 主要 集中 在 异步 客户 端 上 。Nifty 实 际 上 也 提供 
了 一 个 针对 Thrift 的 同步 传输 接口 的 Netty 实 现 ， 但 是 它 的 使 用 相当 受 
限 ， 因 为 相对 于 Thrift 所 提供 的 标准 的 套 接 字 传输 ， 它 并 没有 太 多 的 优 
势 。 因 此 ， 用 户 应 该 尽 可 能 地 使 用 寞 步 客 户 端 。 


1. 流水 线 化 


Thrift 库 拥有 它 自己 的 基于 NIO 的 异步 客户 端 实 现 ， 但 是 我 们 想 要 的 
一 个 特性 是 请 求 的 流水 线 化 。 流 水 线 化 是 一 种 在 同一 连接 上 发 送 多 个 请 
求 ， 而 不 需要 等 待 其 啊 应 的 能 力 。 如 果 服 务 器 有 空 亲 的 工作 线程 ， 那 么 
它 便 可 以 并 行 地 处 理 这 些 请 求 ， 但 是 即使 所 有 的 工作 线程 都 处 于 忙 绿 状 
态 ， 流 水 线 化 仍然 可 以 有 其 他 方面 的 神 益 。 服 务 右 将 会 花费 更 少 的 时 间 
来 等 等 读 取 数 据 ， 而 客户 并 则 可 以 在 一 个 单一 的 TCP 数 据 包 里 一 起 友 送 
多 个 小 请 求 ， 从 而 更 好 地 利用 网 络 带宽 。 


使 用 Netty， 流 水 线 化 水 到 渠 成 。Netty 做 了 所 有 管理 各 种 NIO 选 择 
键 的 状态 的 艰 涩 的 工作 ，Nifty 则 可 以 专注 于 解码 请 求 以 及 编码 啊 应 。 


2. 多 路 复 用 


随 着 我 们 的 基础 设施 的 增长 ， 我 们 开始 看 到 在 我 们 的 服务 器 上 创建 
起 来 了 大 量 的 连接 。 多 路 复 用 (为 所 有 的 连接 来 自 於 单一 的 来 源 的 
Thrift 客 户 端 共 享 连接 ) 可 以 帮助 减轻 这 种 状况 。 但 是 在 需要 按 序 啊 应 
的 客户 端 连接 上 进行 多 路 复 用 会 导致 一 个 问题 : RE Be EAN Pn BY Re 
会 招致 额外 的 延迟 ， 因 为 它 的 响应 必须 要 跟 在 对 应 于 其 他 共享 该 连接 的 
请 求 的 啊 应 之 后 。 


基本 的 解决 方案 也 相当 简单 : Thrift 已 经 在 发 送 每 个 消息 时 都 朱 带 
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channe1 维 护 一 个 从 序列 ID 到 响应 处 理 器 的 一 个 映射 ， 而 不 是 一 个 使 用 
队列 。 


但 是 问题 的 关键 在 于 ， 在 标准 的 同步 Thrift 客 户 端 中 ， 协 议 层 将 负 
AR 
Ns Due 


对 于 同步 客户 端 来 说 ， 这 种 简单 的 流程 〈 如 图 15-4 所 示 ) 能够 良好 
地 工作 ， 其 协议 层 可 以 在 传输 层 上 等 待 ， 以 实际 接收 响应 ， 但 是 对 于 异 
步 客户 端 来 说 ， 其 控制 流 就 变 得 更 加 复杂 了 了。 客户 端 调用 将 会 被 分 发 到 
Swift 库 中 ， 其 将 首先 要 求 协议 层 将 请 求 编码 到 一 个 缓冲 区 ， 然 后 将 编码 
请 求 缓冲 区 传递 给 Nifty 的 channel 以 便 被 写 出 。 当 该 channel 收 到 来 自 服 
务 器 的 响应 时 ， 它 将 会 通知 Swift 库 ， 其 将 再 次 使 用 协议 层 以 对 响应 缓冲 
区 进行 解码 。 这 就 是 图 15-5 中 所 展示 的 流程 。 
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图 15-4 多 路 复 用 /传输 层 


调用 者 代码 Nifty 的 Channel 代 码 
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图 15-5 派发 
15.1.5 Swift: 一 种 更 快 的 构建 Java Thrift 服 务 的 方式 


我 们 新 的 Java Thrift 框 丸 的 另 一 个 关键 部 分 叫 作 Swift。 它 使 用 了 
Nifty 作 为 它 的 IO 发 动机 ， 但 是 其 服务 规范 可 以 直接 通过 Java 注 解 来 表 
示 ， 使 得 Thrift 服 务 开发 人 员 可 以 纯粹 地 使 用 Java 进 行 开 及 。 当 你 的 服务 
司 动 时 ，Swift 运 行 时 将 通过 组 合 使 用 反射 以 及 解析 Swift 的 注解 来 收集 
所 有 相关 服务 以 及 类 型 的 信息 。 通 过 这 些 信息 ， 它 可 以 构建 出 和 Thrift 
编译 器 在 解析 Thrift ” IDL 文件 时 构建 的 模型 一 样 的 模型 。 然 后 ， 它 将 使 
用 这 个 模型 ， 并 通过 从 字 节 码 生成 用 于 序列 化 / 反 序列 化 这 些 自 定义 类 
型 的 新 类 ， 来 直接 运行 服务 器 以 及 客户 并 (而 不 需要 任何 生成 的 服务 器 
或 者 客户 端的 存根 代码 ) 。 














跳 过 常规 的 Thrift 代 码 生 成 ， 还 能 使 添加 新 功能 变 得 更 加 轻松 ， 而 
无 需 修改 IDL 编 译 器 ， 所 以 我 们 的 许多 新 功能 (如 异步 客户 端 ) 都 是 首 
先 在 Swift 中 得 到 支持 。 如 果 你 感 兴 趣 ， 可 以 查阅 Swift 的 GitHub 页 面 
(https://github.com/facebook/swift) 上 的 介绍 信息 。 


15.1.6 ”结果 


在 下 面 的 各 节 中 ， 我 们 将 量化 一 些 我 们 使 用 Netty 的 过 程 中 所 观 守 
到 的 一 些 成 果 。 


1. 性 能 比较 


一 种 测量 Thrift 服 务 器 性 能 的 方式 是 对 于 衬 操 作 的 基准 测试 。 这 种 
基准 测试 使 用 了 长 时 间 运 行 的 客户 端 ， 这 些 客 户 端 不 间断 地 对 发 送 回 空 
啊 应 的 服务 器 进行 Thrift 调 用 。 虽 然 这 种 测量 方式 对 于 大 部 分 的 实际 
Thrift 服 务 来 说 ， 不 是 真实 意义 上 的 性 能 测试 ， 但 是 它 仍然 很 好 地 度量 
了 Thrift 服 务 的 最 大 潜能 ， 而 且 提 高 这 一 基准 ， 通 常 也 束 童 味 着 减少 了 
该 框架 本 喘 的 CPU 使 用 。 

如 表 15-1 所 示 ， 在 这 个 基准 测试 下 ，Nifty 的 性 能 优 于 所 有 其 他 基于 
NIO 的 Thrift 服 务 嚣 (TNonblockingServer、TThreadedSelectorServer 以 及 
TThreadPoolServer) 的 实现 。 它 甚至 轻松 地 击败 了 我 们 以 前 的 Java 服 务 
器 实现 (我 们 内 部 使 用 的 一 个 Nifty 之 前 的 服务 器 实现 ， 基 于 原始 的 NIO 
以 及 直接 缓冲 区 ) 。 


表 15-1 不 同 实现 的 基准 测试 结 


Thrift 服 务 器 实现 空 操作 请 求 / 秒 


er 



































| 较 老 的 Java 服 务 器 《使 用 NIO 和 直接 缓冲 区 ) 用 67 000 | 


较 老 的 基于 libevent 的 C++ 服务 器 
下 一 代 基 于 libevent 的 C++ 服务 器 








我 们 所 测试 过 的 唯一 能 够 和 Nifty 相 提 并 论 的 Java 服 务 器 是 
TThreadPoolServer。 这 个 服务 器 实现 使 用 了 原始 的 OIO， 并 且 在 一 个 专 
门 的 线程 上 运行 每 个 连接 。 这 使 得 它 在 处 理 少 量 的 连接 时 表现 不 错 ; 然 
而 ， 使 用 OIO， 当 你 的 服务 器 需要 处 理 大 量 的 并 发 连接 时 ， 你 将 很 容易 
遇 到 伸缩 性 问题 。 


Nifty 甚 至 击败 了 之 前 的 C++ 服务 器 实现 ， 这 和 是 我 们 开始 开发 Nifty 时 
最 革 目 的 一 点 ， 昌 然 它 相对 于 我 们 的 下 一 代 C++ 服 务 器 框 民 还 有 一 些 关 
距 ， 但 至 少 也 大 致 相当 。 


2. 稳定 性 问题 的 例子 


在 Nifty 之 前 ， 我 们 在 Facebook 的 许多 主要 的 Java 服 务 都 使 用 了 一 个 
较 老 的 、 自 定义 的 基于 NIO 的 Thrift 服 务 器 实现 ， 它 的 工作 方式 类 似 于 
Nifty。 该 实现 是 一 个 较 旧 的 代码 库 ， 有 更 多 的 时 间 成 熟 ， 但 是 由 于 它 的 
异步 JO 处 理 代 码 是 从 零 开始 构建 的 ， 而 且 因为 Nifty 是 构建 在 Netty 的 异 
人 





我 们 的 一 个 自 定 义 的 消息 队列 服务 是 基于 那个 较 旧 的 框架 构建 的 ， 
而 它 开始 遭受 一 种 套 接 字 泄露 。 大 量 的 连接 都 停留 在 了 cLosE_wAIT 状 
态 ， 这 意味 着 服务 器 接收 了 客户 端 已 经 关闭 了 和 套 接 字 的 通知 ， 但 是 服务 
器 从 来 不 通过 其 自身 的 调用 来 关闭 套 接 字 进 行 回 应 。 这 使 得 这 些 套 接 字 
都 停滞 在 了 cLosE_WAIT 状 态 。 


问题 发 生得 很 慢 ; 在 处 理 这 个 服务 的 整个 机 需 集 群 中 ， 每 秒 可 能 
数 以 百 万 计 的 请 求 ， 但 是 通常 在 一 个 服务 器 上 只 有 一 个 套 接 字 会 在 一 个 
小 时 之 内 进入 这 个 状态 。 这 不 是 一 个 迫在眉睫 的 问题 ， 因 为 在 那 种 速率 
下 ， 在 一 个 服务 器 需要 重启 前 ， 将 需要 花费 很 长 的 时 间 ， 但 是 这 也 复杂 








化 了 追查 原因 的 过 程 。 彻 底 地 挖掘 代码 也 没有 带 来 太 大 的 帮助 : 最 初 的 
人 
题 所 在 。 


最 终 ， 我 们 将 该 服务 迁移 到 了 Nifty 之 上 。 和 转换 (包括 在 预 发 环境 中 
进行 测试 ) 花 了 不 到 一 天 的 时 间 ， 而 这 个 问题 就 此 消失 了 。 使 用 Nifty， 
我 们 就 真 的 再 也 没 见 过 类 似 的 问题 了 。 


这 只 是 在 直接 使 用 NIO 时 可 能 会 出 现 的 微妙 bug 的 一 个 例子 ， 而 且 
它 类 似 于 那些 在 我 们 的 C++ ” Thrift 框架 稳 定 的 过 程 中 ， 不 得 不 一 次 义 一 
次 地 解决 的 bug。 但 是 我 认为 这 是 一 个 很 好 的 例子 ， 它 说 明了 通过 使 用 
Netty 古 如 何 帮 助 我 们 利用 它 多 年 来 收 到 的 稳定 性 修复 的 。 


3. 改进 C++ 实现 的 超时 处 理 


Netty 还 通过 为 改进 我 们 的 C++ 框架 提供 一 些 启 发 间接 地 帮助 了 我 
们 。 一 个 这 样 的 例子 是 基于 散 列 轮 的 计时 堪 。 我 们 的 C++ 框架 使 用 了 来 
自 于 libevent 的 超时 事件 来 驱动 客户 端 以 及 服务 器 的 超时 ， 但 是 为 每 个 
请 求 都 添加 一 个 单独 的 超时 被 证 明 是 十 分 昂 贯 的 ， 因 此 我 们 一 直 都 在 使 
用 我 们 称 之 为 超时 集 的 东西 。 其 思想 是 : 一 个 到 特定 服务 的 客户 端 连 
接 ， 对 于 由 该 客户 端 发 出 的 每 个 请 求 ， 通 常 都 具有 相同 的 接收 超时 ， 
此 对 于 一 组 共享 了 相同 的 时 间 间 隅 的 超时 集合 ， 我 们 仅 维 护 一 个 真正 的 
计时 需 事 件 。 每 个 新 的 超时 都 将 被 保证 会 在 对 于 该 超时 集合 的 现存 的 超 
因此 当 每 个 超时 过 期 或 者 被 取消 时 ， 我 们 将 只 会 安 

下 一 个 超时 。 


然而 ,我们 的 用 户 偶 尔 想 要 为 每 个 调用 都 提供 单独 的 超时 ， 为 在 相 
同 连接 上 的 不 同 的 请 求 设置 不 同 的 超时 值 。 在 这 种 情况 下 ， 使 用 超时 集 
合 的 好 处 就 消失 了 ， 因 此 我 们 尝试 了 使 用 单独 的 计时 右 事 件 。 在 大 量 的 
超时 被 同时 调度 时 ， 我 们 开始 看 到 了 性 能 问题 。 我 们 知道 Nifty 不 会 碰 到 
这 个 问题 ， 除 了 它 不 使 用 超时 集 的 这 个 事实 一 一 Netty 通 过 它 的 
HashedwheelTimer 上 解决 了 该 问题 。 因 此 ， 带 着 来 自 Netty 的 灵感 ， 我 们 
为 我 们 的 C++ ”Thrift 框架 添加 了 一 个 基于 散 列 轮 的 计时 器 ， 并 解决 了 可 
变 的 每 请 求 〈per-request) 超时 时 间 间 隔 所 带 来 的 性 能 问题 。 


4. 未 来 基于 Netty 4 的 改进 
Nifty 目 前 运行 在 Netty 3 上 ， 这 对 我 们 来 说 已 经 很 好 了 ， 但 是 我 们 已 




















经 有 一 个 基于 Netty 4 的 移植 版 本 准备 好 了 ， 现 在 第 4 版 的 Netty 已 经 稳定 
下 来 了 ， 我 们 很 快 就 会 迁移 过 去 。 我 们 热切 地 期 符 着 Netty 4 的 API 将 会 
带 给 我 们 的 一 些 荔 处 。 


一 个 我 们 计划 如 何 更 好 地 利用 Netty 4 的 例子 是 实现 更 好 地 控制 哪个 
线程 将 管理 一 个 给 定 的 连接 。 我 们 希望 使 用 这 项 特性 ， 可 以 使 服务 器 的 
处 理 占 方法 能 够 从 和 该 服务 器 调用 所 运行 的 VO 线程 相同 的 线程 开始 寞 
步 的 客户 器 调用 。 这 是 那些 专门 的 C++ 服务 器 《如 Thrift 请 求 路 由 右 ) 已 
经 能 够 利用 的 特性 。 


从 该 例子 延伸 开 来 ， 我 们 也 期 符 着 能 够 构建 更 好 的 客户 问 连 接 池 ， 
使 得 能 够 把 现 有 的 池 化 连接 迁移 到 期 望 的 VO 工作 线程 上 ， 这 在 第 3 版 的 
Netty 中 是 不 可 能 做 到 的 。 


15.1.7 ”Facebook 小 结 


在 Netty 的 帮助 下 ， 我 们 已 经 能 够 构建 更 好 的 Java 服 务 占 框架 了 ， 其 
几乎 能 够 与 我 们 最 快 的 C++ ” Thrift 服务 器 框架 的 性 能 相 旭 美 。 我 们 已 经 
将 我 们 现 有 的 一 些 主要 的 Java 服 务 迁 移 到 了 Nifty， 并 解决 了 一 些 令 人 讨 
大 的 稳定 性 和 性 能 问题 ， 同 时 我 们 还 开始 将 一 些 来 自 Netty， 以 及 Nifty 
和 Swift 开 发 过 程 中 的 思想 ， 反 馈 到 提高 C++ Thrift 的 各 个 方面 中 。 


不 仅 如 此 ， 使 用 Netty 是 令 人 和 类 悦 的 ， 并 且 它 已 经 添加 了 大 量 的 新 
wy filo, xP Thrift Pin A SOCKS SRR UL, WIER 
一 体 。 





但 是 我 们 并 不 止步 于 此 。 我 们 还 有 大 量 的 性 能 调 优 工作 要 做 ， 以 及 
针对 将 来 的 大 量 的 其 他 方面 的 改进 计划 。 如 果 你 对 使 用 Java 进 行 Thrift 开 
发 感 兴趣 ， 一 定 要 关注 哦 ! 


15.2 ”Netty 在 Twitter 的 使 用 ，Finagle 


Jeff Smick，Twitter 软 件 工程 师 


Finagle 是 Twitter 构建 在 Netty 之 上 的 容错 的 、 协 议 不 可 知 的 RPC 框 
染 。 从 提供 用 户 信 息 、 推 符 以 及 时 间 线 的 后 端 服 务 到 处 理 HTTP 请 求 的 
前 病 API 端 点 ， 所 有 组 成 Twitter 染 构 的 核心 服务 都 创建 在 Finagle 之 上 。 


15.2.1 Twitter 成 长 的 烦恼 


Twitter 最 初 是 作为 一 个 整体 式 的 Ruby On Rails 应 用 程序 构建 的 ， 我 
们 半 亲 切 地 称 之 为 Monorail。 随 着 Twitter 开始 经 历 大 规模 的 成 长 ，Ruby 
运行 时 以 及 Rails 框 架 开 始 成 为 瓶颈 。 从 计算 机 的 角度 来 看 ，Ruby 对 资 
源 的 利用 是 相对 低 效 的 。 从 开发 的 角度 来 看 ， 该 Monorail 开 始 变 得 难以 
维护 。 对 一 个 部 分 的 代码 修改 将 会 不 透明 地 影响 到 另外 的 部 分 。 代 码 的 
不 同方 面 的 所 属 权 也 不 清楚 。 无 关 核 心 业 务 对 象 的 小 改动 也 需要 一 次 完 
整 的 部 署 。 核 心 业务 对 象 也 没有 烘 露 清晰 的 API， 其 加 剧 了 内 部 结构 的 
脆弱 性 以 及 发 生 故 障 的 可 能 性 。 


我 们 诀 定 将 该 Monorail 分 拆 为 不 同 的 服务 ， 明 确 归 属 人 并 且 精 简 
API， 使 迭代 更 快速 ， 维 护 更 容易 。 每 个 核心 业务 对 象 都 将 由 一 个 专门 
的 团队 维护 ， 并 且 由 它 自 己 的 服务 提供 支撑 。 公 司 内 部 已 经 有 了 在 JVM 
上 进行 开发 的 先例 一 几 个 核心 的 服务 已 经 从 该 Monorail 中 迁移 出 去 ， 并 
己 经 用 Scala 重 写 了 。 我 们 的 运 维 团 队 也 有 运 维 JVM 服 务 的 背景 ， 并 且 知 
道 如 何 运 维 它们 。 鉴 于 此 ， 我 们 决定 使 用 Java 或 者 Scala 在 JVM 上 构建 所 
有 的 新 服务 。 大 多 数 的 服务 开发 团队 都 决定 选用 Scala 作 为 他 们 的 JVM 语 


15.2.2 ”Finagle 的 诞生 


为 了 构建 出 这 个 新 的 架构 ， 我 们 需要 一 个 高 性 能 的 、 容 错 的 、 协 议 
不 可 知 的 、 异 步 的 RPC 框 架 。 在 面向 服务 的 染 构 中 ， 服 务 花 费 了 它们 大 
部 分 的 时 间 来 等 待 来自 其 他 上 游 的 服务 的 啊 应 。 使 用 异步 的 库 使 得 服务 
可 以 并 发 地 处 理 请 求 ， 并 且 充 分 地 利用 硬件 资源 。 尽 管 Finagle 可 以 直接 
创建 在 NIO 之 上 上， 但 是 Netty 已 经 解决 了 许多 我 们 可 能 会 遇 到 的 问题 ， 并 
且 它 提供 了 一 个 简洁 、 清 晰 的 API。 


Twitter 构 建 在 几 种 开源 的 协议 之 上 ， 主 要 是 HTTP、Thrift、 
Memcached、MySQL 以 及 Redis。 我 们 的 网 络 栈 需 要 具备 足够 的 灵活 
性 ， 能 够 和 任何 的 这 些 协议 进行 交流 ， 并 且 有 具备 足够 的 可 扩展 性 ， 以 便 
我 们 可 以 方便 地 添加 更 多 的 协议 。Netty 并 没有 绑 定 任何 特定 的 协议 。 
问 它 添加 协议 束 像 创建 适当 的 channelHandler 一 样 简 单 。 这 种 扩展 性 也 
众生 了 许多 社区 驱动 的 协议 实现 ， 包 括 SPDY、PostgreSQL、 
WebSockets, IRCLA R AWSE, 





Netty 的 连接 管理 以 及 协议 不 可 知 的 特性 为 构建 Finagle 提 供 了 绝 佳 

的 基础 。 但 是 我 们 也 有 一 些 其 他 的 Netty 不 能 开 箱 即 满足 的 需求 ， 因 为 

那些 需求 都 更 高 级 。 客 户 端 需要 连接 到 服务 器 集群 ， 并 且 需 要 做 跨 服 务 
器 集群 的 负载 均衡 。 所 有 的 服务 都 需要 雄 圳 运行 指标 (请 求 紊 、 延 壕 

等 ) ， 其 可 以 为 调试 服务 的 行为 提供 有 价值 的 数据 。 在 面向 服务 的 架构 
中 ， 一 个 单一 的 请 求 都 可 能 需要 经 过 数 十 种 服务 ， 使 得 如 果 没 有 一 个 由 
Dapper 启 发 的 跟踪 框架 ， 调 试 性 能 问题 几乎 是 不 可 能 的 办。Finagle 正 是 
为 了 解决 这 些 问 题 而 构建 的 。 


15.2.3 Finagle 是 如 何 工 作 的 


Finagle 的 内 部 结构 是 非常 模块 化 的 。 组 件 都 是 先 独立 编写 ， 然 后 再 
堆 登 在 一 起 。 根 据 所 提供 的 配置 ， 每 个 组 件 都 可 以 被 换 入 或 者 换 出 。 例 
如 ， 所 有 的 跟踪 器 都 实现 了 相同 的 接口 ， 因 此 可 以 创建 一 个 跟踪 器 用 来 
将 跟踪 数据 发 送 到 本 地 文件 、 保 存在 内 存 中 并 骏 露 一 个 读 取 端 点 ， 或 者 
将 它 写 出 到 网 络 。 


在 Finagle 栈 的 底部 是 Transport 层 。 这 个 类 表示 了 一 个 能 够 被 异步 
读 取 和 写 入 的 对 象 流 。Transport 被 实现 为 Netty 的 ChannelHandler， 并 
被 插入 到 了 channelPipeline 的 尾 端 。 来 上 自 网 络 的 消息 在 被 Netty 接 收 之 
后 ， 将 经 由 channelPipeline， 在 那里 它们 将 被 编 解 码 器 解释 ， 并 随后 被 
发 送 到 Finagle 的 Transport 层 。 从 那里 Finagle 将 会 从 Transport 层 读 取 消 
妃 ， 并 且 通 过 它 自己 的 栈 友 送 消息 。 


对 于 客户 端的 连接 ，Finagle 维 护 了 一 个 可 以 在 其 中 进行 负载 均衡 的 
传输 (Transport) 池 。 根 据 所 提供 的 连接 池 的 语义 ，Finagle 将 从 Netty 请 
求 一 个 新 连接 或 者 复 用 一 个 现 有 的 连接 。 当 请 求 新 连接 时 ， 将 会 根据 客 
户 端的 编 解 码 喜 创建 一 个 Netty 的 channelPipeline。 额 外 的 用 于 统计 、 

志 记 录 以 及 SSL 的 channelHandler 将 会 被 添加 到 该 channelPipeline 
中 。 该 连接 随后 将 会 被 递 给 一 个 Finagle 能 够 号 入 和 读 取 的 
ChannelLTransportLsl。 


在 服务 器 端 ， 创 建 了 一 个 Netty 服 务 圳 ， 然 后 同 其 提供 一 个 管理 编 
解码 器 、 统 计 、 超时 以 及 日 志 记 录 的 channelPipelineFactory。 位 于 服 
务 峰 channelpPipeline 尾 端的 channelHandler 是 一 个 Finagle 的 桥接 器 。 该 
桥接 器 将 监控 新 的 传 入 连接 ， 并 为 每 一 个 传 入 连接 创建 一 个 新 的 
Transport。 该 Transport 将 在 新 的 channe1 被 递交 给 某 个 服务 器 的 实现 之 














前 对 其 进行 包装 。 随 后 从 channelPipeline 读 取消 息 ， 并 将 其 发 送 到 已 实 
现 的 服务 器 实例 。 


图 15-6 展 示 了 Finagle 的 客户 器 和 服务 器 之 间 的 关系 。 
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图 15-6 ”Netty 的 使 用 
Netty/Finagle 桥 接 器 
代码 清单 15-1 展 示 了 一 个 使 用 默认 选项 的 静态 的 ChannelFactory。 
代码 清单 15-1 设置 channelFactory 


object Netty3Transporter { 
val channelFactory: ChannelFactory = 
new NioClientSocketChannelFactory( - -- 创建 一 个 
ChannelFactory 的 实例 





Executor, 1 /*# boss threads*/, WorkerPool, DefaultTimer 


){ 
// no-op; unreleasable 
override def releaseExternalResources() = () 


} 
val defaultChannelOptions: Map[String, Object] = Map( - - 
- 设置 用 于 新 Channel 的 选项 
"tcpNoDelay" -> java.lang.Boolean.TRUE, 
"reuseAddress" -> java.lang.Boolean. TRUE 


这 个 channelFactory 桥 接 了 Netty 的 channel 和 Finagle 的 
Transport 《为 简洁 起 见 ， 这 里 移 除 了 统计 代码 ) 。 当 通过 apply 方 法 被 
调用 时 ， 这 将 创建 一 个 新 的 channel 以 及 Transport。 当 该 channel 已 经 连 
接 或 者 连接 失败 时 ， 将 会 返回 一 个 被 完整 填充 的 Future。 


代码 清单 15-2 展 示 了 将 channe1 连 接 到 远程 主机 的 


ChannelConnector. 
代码 清单 15-2 ”连接 到 远程 服务 器 


private[netty3] class ChannelConnector[In, Out ]( 
newChannel: () => Channel, 
newTransport: Channel => Transport[In, Out] 

) extends (SocketAddress => Future[Transport[In, Out]]) { 


def apply(addr: SocketAddress): Future[Transport[In, Out]] = { 
require(addr != null) =- -- 如 果 Channel 创建 失败 ， 那 么 异常 } 








R 


会 被 包装 在 Future 中 返回 
val ch = try newChannel() catch { 
case NonFatal(exc) => return Future.exception(exc) 
} 


// Transport is now bound to the channel; this is done pric 
// it being connected so we don't lose any messages. 
val transport = newTransport(ch) =- -- 使 用 Channe1 创 建 一 个 新 
的 Transport 
val connectFuture = ch.connect(addr) - -- 创建 一 个 新 的 
Promise， 以 便 在 连接 尝试 完成 时 及 时 收 到 通知 
val promise = new Promise[Transport[In, Out] ] 
promise setInterruptHandler { case _cause => 
// Propagate cancellations onto the netty future. 
connectFuture.cancel( ) 














} 


connectFuture.addListener(new ChannelFutureListener { 
def operationComplete(f: ChannelFuture) { - -- 通过 完 
全 填充 已 经 创建 的 Promise 来 处 理 connectFuture 的 完成 状态 
if (f.isSuccess) { 
promise.setValue(transport ) 
} else if (f.isCancelled) { 
promise.setException( 























WriteException(new CancelledConnectionException) ) 
} else { 
promise.setException(WriteException(f.getCause) ) 


} 
} 
}) 
promise onFailure { _ => Channels.close(ch) 
} 


这 个 工厂 提供 了 一 个 channelPipelineFactory， 它 是 一 个 channel 和 
Transport 的 工厂 。 该 工厂 是 通过 apply 方 法 调用 的 。 一 旦 被 调用 ， 就 会 
创建 一 个 新 的 channelPipeline (newPipeline) 。 channelFactory 将 会 使 
用 这 个 channelPipeline 来 创建 新 的 channel1， 随 后 使 用 所 提供 的 选项 
(newConfiguredChannel) 对 它 进行 配置 。 配 置 好 的 channel 将 会 被 作为 
一 个 匿名 的 工厂 传递 给 一 个 channelCconnector。 该 连接 絮 将 会 被 调用 ， 
并 返回 一 广 Future[ITransport ] 。 


代码 清单 15-3 展 示 了 细节 馈 。 
代码 清单 15-3 ”基于 Netty 3 的 传输 





case class Netty3Transporter[In, Out] ( 
pipelineFactory: ChannelPipelineFactory, 
newChannel: ChannelPipeline => Channel = 
Netty3Transporter.channelFactory.newChannel(_), 
newTransport: Channel => Transport[In, Out] = 
new ChannelTransport[In, Out](_), 
// various timeout/ssl options 
) extends ( 
(SocketAddress, StatsReceiver) => Future[Transport[In, Out] ] 
){ 


private def newPipeline( 
addr: SocketAddress, 
statsReceiver: StatsReceiver 
)={ 
val pipeline = pipelineFactory.getPipeline() 
// add stats, timeouts, and ssl handlers 
pipeline E 创建 一 个 channelPipeline， 并 添加 所 需 的 
ChannelHandler 
} 
private def newConfiguredChannel ( 
addr: SocketAddress, 
statsReceiver: StatsReceiver 
)={ 
val ch = newChannel(newPipeline(addr, statsReceiver)) 
ch.getConfig.setOptions(channelOptions.asJava) 
ch 





} 
def apply( 
addr: SocketAddress, 
statsReceiver: StatsReceiver 
): Future[Transport[In, Out]] = { 
val conn = new ChannelConnector[In, Out] ( 
() => newConfiguredChannel(addr, statsReceiver), 
newTransport, statsReceiver ) - -- 创建 一 个 内 部 使 用 的 
ChannelConnector 
conn(addr ) 
} 





Finagle 服 务 器 使 用 Listener 将 自身 绑 定 到 给 定 的 地 址 。 在 这 个 示例 
中 ， 监 听 器 提供 了 一 广 ChanneJPipelineFactory、 一 个 channelFactory 
以 及 各 种 选项 〈 为 了 简洁 起 见 ， 这 里 没 包 括 ) 。 我 们 使 用 一 个 要 绑 定 的 
地 址 以 及 一 个 用 于 通信 的 Transport 调 用 了 Listener。 接 痢 ， 创 建 并 配置 
了 一 个 Netty 的 ServerBootstrap。 然后 ， 创建 了 一 个 匿名 的 serverBridge 
a ae 1328 ChannelPipelineFactory, 其 将 被 递交 给 该 引导 服务 器 。 最 


后 ， 该 服务 器 将 会 被 绑 定 到 给 定 的 地 址 。 


现在 ， 让 我 们 来 看 看 基于 Netty 的 Listener 实 现 ， 如 代码 清单 15-4 所 
ZN o 


代码 清单 15-4 基于 Netty 的 Listener 实 现 


case class Netty3Listener[In, Out]( 
pipelineFactory: ChannelPipelineFactory, 
channelFactory: ServerChannelFactory 


bootstrapOptions: Map[String, Object], ... // stats/timeouts/ssl 
) extends Listener[In, Out] { 
def newServerPipelineFactory( 


statsReceiver: StatsReceiver, newBridge: () => ChannelHandler 
) = new ChannelPipelineFactory { - -- 创建 一 个 
ChannelPipelineFactory 
def getPipeline() = { 
val pipeline = pipelineFactory.getPipeline() 
. // add stats/timeouts/ssl 

pipeline.addLast("finagleBridge", newBridge() ) - - 
- “将 该 桥接 器 添 加 到 channelPipeline 中 

pipeline 





} 
def listen(addr: SocketAddress) ( 
serveTransport: Transport[In, Out] => Unit 
): ListeningServer = 
new ListeningServer with CloseAwaitably { 


val newBridge = () => new ServerBridge(serveTransport, ...) 
val bootstrap = new ServerBootstrap(channelFactory) 
bootstrap.setOptions(bootstrapOptions.asJava) 
bootstrap.setPipelineFactory( 


newServerPipelineFactory(scopedStatsReceiver, newBridge) ) 
val ch = bootstrap.bind(addr ) 
} 


} J 


当 一 个 新 的 Channel 打 开 时 ， 该 桥接 器 将 会 创建 一 个 新 的 
channelTransport 并 将 其 递 回 给 Finagle 服 务 器 。 代 码 清 单 15-5 展 示 了 所 
需 的 代码 Hol， 


代码 清单 15-5 ”桥接 Netty 和 Finagle 


class ServerBridge[In, Out]( 
serveTransport: Transport[In, Out] => Unit, 
) extends SimpleChannelHandler { 
override def channelOpen( 
ctx: ChannelHandlerContext, 
e: ChannelStateEvent 








){ 
val channel = e.getChannel 
val transport = new ChannelTransport[In, Out ] 
(channel) - -- 创建 一 个 ChannelTransport， 以 便 在 一 个 新 Channel 被 打 
开 时 桥接 到 Finagle 
serveTransport(transport) 
super.channelOpen(ctx, e) 
} 


override def exceptionCaught ( 
ctx: ChannelHandlerContext, 
e: ExceptionEvent 
) { 7/7 log exception and close channel } 


15.2.4 Finagle 的 抽象 


Finagle 的 核心 概念 是 一 个 从 Request 到 Future[Response] 的 的 简单 
函数 〈 函 数 式 编程 语言 是 这 里 的 关键 ) 。 


type Service[Req, Rep] = Req => Future[Rep]421 


这 种 简单 性 释放 了 非常 强大 的 组 合 性 。service 是 一 种 对 称 的 APT， 
同时 代表 了 客户 端 以 及 服务 右 。 服 务 器 实现 了 该 服务 的 接口 。 该 服务 需 
可 以 被 具体 地 用 于 测试 ， 或 者 Finagle 也 可 以 将 它 暴 露 到 网 络 接口 上 。 窗 
其 要 么 是 虚拟 的 ， 要 么 是 东 个 远程 服务 器 
J RIKER. 


例如 ， 我 们 可 以 通过 实现 一 个 服务 来 创建 一 个 简单 的 HTTP 服 务 
器 ， 该 服务 接受 HttpReq 作 为 参数 ， 返 回 一 个 代表 最 终 响 应 的 
Future[HttpRep]. 


val s: Service[HttpReq, HttpRep] = new Service[HttpReq, HttpRep | 
def apply(req: HttpReq): Future[HttpRep] = 
Future. value(HttpRep(Status.OK, req.body) ) 


} 
Http.serve(":80", s) 
随后 ， 客 户 端 将 被 提供 一 个 该 服务 的 对 称 表示 。 
val client: Service[HttpReq, HttpRep] = Http.newService("twitter. 


val f: Future[HttpRep] = client(HttpReq("/") ) 
f map { rep => processResponse(rep) } 


这 个 例子 将 把 该 服务 器 骏 露 到 所 有 网 络 接口 的 80 端 口上 ， 并 从 
twitter.com 的 80 端 口 消 费 。 

我 们 也 可 以 选择 不 暴露 该 服务 器 ， 而 是 直接 使 用 它 。 
server(HttpReq("/")) map { rep => processResponse(rep) } 

在 这 里 ， 客 户 病 代码 有 相同 的 行为 ， 只 是 不 需要 网 络 连 接 。 这 使 得 
测试 客户 端 和 服务 器 非常 简单 直接 。 

客户 端 以 及 服务 器 都 提供 了 特定 于 应 用 程序 的 功能 。 但 是 ， 也 有 对 


和 应 用 程序 无 关 的 功能 的 需求 。 这 样 的 例子 如 超时 、 号 份 验证 以 及 统计 
等 。Filter 为 实现 应 用 程序 无 关 的 功能 提供 了 抽象 。 


过 滤器 接收 一 个 请 求 和 一 个 将 被 它 组 合 的 服务 : 
type Filter[Req, Rep] = (Reg, Service[Req, Rep]) => Future[Rep] 


多 个 过 滤器 可 以 在 被 应 用 到 茶 个 服务 之 前 链接 在 一 起 : 


recordHandletime andThen 
traceRequest andThen 
collectJvmStats andThen 
myService 


这 人 允许 了 清晰 的 逻辑 抽象 以 及 民 好 的 关注 点 分 离 。 在 内 部 ，Finagle 
大 量 地 使 用 了 过 滤器， 其 有 助 于 提高 模块 化 以 及 可 复 用 性 。 它 们 已 经 被 
证 明 ， 在 测试 中 很 有 价值 ， 因 为 它们 通过 很 小 的 仿真 便 可 以 被 独立 地 单 
元 测试 。 


过 滤器 可 以 同时 修改 请 求 和 啊 应 的 数据 以 及 类 型 。 图 15-7 展 示 了 一 
个 请 求 ， 它 在 通过 一 个 过 滤器 链 之 后 到 达 了 某 个 服务 并 返回 。 











Reqm ReqOut/ReqIn ReqOut/Req 
用 户 RepOut 过 滤器 


RepIn/RepOut ú RepIn/Rep 








图 15-7 ”请求 / 啊 应 流 
我 们 可 以 使 用 类 型 修改 来 实现 号 份 验 证 。 
val auth: Filter[HttpReq, AuthHttpReq, HttpRes, HttpRes] = 
{ (reg, svc) => authReq(req) flatMap { authReq => svc(authReq) } 


val authedService: Service[AuthHttpReq, HttpRes] = ... 
val service: Service[HttpReq, HttpRes] = 
auth andThen authedService 


这 里 我 们 有 一 个 需要 AuthHttpReq 的 服务 。 为 了 满足 这 个 需求 ， 创 
建 了 一 个 能 接收 HttpReq 并 对 它 进行 丑 份 验证 的 过 滤器 。 随 后 ， 该 过 滤 
器 将 和 该 服务 进行 组 合 ， 产 生 一 个 新 的 可 以 接受 HttpReq 并 产生 HttpRes 
的 服务 。 这 使 得 我 们 可 以 从 该 服务 隅 离 ， 单 独 地 测试 身份 验证 过 滤器 。 


15.2.5 ”故障 管理 


我 们 假设 故障 总 是 会 发 生 ， 硬 件 会 失效 、 网 络 会 变 得 拥塞 、 网 络 链 
接 会 断 开 。 对 于 库 来 说 ， 如 采 它 们 正在 上 面 运行 的 或 者 正在 与 之 通信 的 
系统 发 生 故 障 ， 那 么 库 所 拥有 的 极 高 的 厨 吐 量 以 及 极 低 的 延迟 都 将 坚 无 
意义 。 为 此 ，Finagle 是 创建 在 有 原则 地 管理 故障 的 基础 之 上 的 。 为 了 能 
够 更 好 地 管理 故障 ， 它 牺牲 了 一 些 硬 叶 量 以 及 延迟 。 


Finagle 可 以 通过 隐 式 地 使 用 延迟 作为 司 发 式 〈 算 法 的 因子 ) 来 均衡 
跨 集群 主机 的 负载 。Finagle 客 户 亲 将 在 本 地 通过 统计 派发 到 单个 主机 的 
还 未 完成 的 请 求 数 来 奶 踪 它 所 知道 的 每 个 主机 上 的 负载 。 有 了 这 些 信 
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失败 的 请 求 将 导致 rinagle 关 闭 到 故障 主机 的 连接 ， 并 将 它 从 负载 均 
衡 右 中 移 除 。 在 后 合 ，Finagle 将 不 断 地 答 试 重新 连接 。 只 有 在 Finagle 能 
够 重新 创建 一 个 连接 时 ， 该 主机 才 会 被 重新 加 入 到 负载 均衡 器 中 。 然 
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成 负面 的 影响 。 


15.2.6 组合 服 务 


Finagle 的 服务 即 函 数 〈service-as-a-function ) 的 观点 允许 编写 简单 
但 定 有 表现 力 的 代码 。 例 如 ， 一 个 用 户 发 出 的 对 于 他 们 的 主页 时 间 线 的 
请 求 涉 及 了 大 量 的 服务 ， 其 中 的 核心 是 身份 验证 服务 、 时 间 线 服务 以 及 
推 竺 服务 。 这 些 关 系 可 以 被 简洁 地 表达 。 


代码 清单 15-6 ”通过 Finagle 组 合 服务 


val timelineSvc = Thrift.newIface[TimelineService](...) - - 
- ”为 每 个 服务 创建 一 个 客户 站 

val tweetSvc = Thrift.newIface[TweetService](...) 

val authSve = Thrift.newIface[AuthService](...) 





val authFilter = Filter.mk[Req, AuthReq, Res, Res] { (req, svc) = 
- -- 创建 一 个 新 的 过 滤器 ， 对 传 入 的 请 求 进行 身份 验证 

authSvc.authenticate(req) flatMap svc(_) 
J 


val apiService = Service.mk[AuthReg, Res] { req => = -- 创建 一 个 
服务 ， 将 已 通过 身份 验证 的 时 间 线 请 求 转换 为 一 个 JSON 响应 
timelineSvc(req.userId) flatMap {tl => 
val tweets = tl map tweetSvc.getById(_) 
Future.collect(tweets) map tweetsToJson(_) 
} 
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Http.serve(":80", authFilter andThen apiService) =- -- 使 用 该 身份 
验证 过 滤器 以 及 我 们 的 服务 在 89 端口 上 启动 一 个 新 的 HTTP 服务 


在 这 里 ， 我 们 为 时 间 线 服务 、 推 竺 服务 以 及 号 份 验证 服务 都 创建 了 
客户 端 。 并 且 ， 为 了 对 原始 的 请 求 进 行 喘 份 验证 ， 创 建 了 一 个 过 滤器 。 
最 后 ， 我 们 实现 的 服务 ， 结 合 了 吴 份 验证 过 小 器 ， 骏 露 在 80 端 口上 。 


当 收 到 请 求 时 ， 喘 份 验证 过 滤器 将 尝试 对 它 进行 身份 验证 。 错 误 都 
会 被 立即 返回 ， 不 会 影响 核心 业务 。 和 里 份 验证 成 功 之 后 ，AuthReq 将 会 
被 发 送 到 API 服 务 。 该 服务 将 会 使 用 附加 的 userId 通 过 时 间 线 服务 来 得 
找 该 用 户 的 时 间 线 。 然 后 ， 返 回 一 组 推 特 ID， 并 在 稍 后 亿 历 。 每 个 ID 都 
会 被 用 来 请 求 与 之 相关 联 的 推 符 。 最 后 ， 这 组 推 特 请 求 会 被 收集 起 来 ， 








转换 为 一 个 JSON 格 式 的 响应 。 


正如 你 所 看 到 的 ， 我 们 定义 了 数据 流 ， 并 且 将 并 发 的 问题 留 给 了 
Finagle。 我 们 不 必 省 理 线程 池 ， 也 不 必 担 心 苋 态 条 件 。 这 上 段 代 码 既 清晰 
又 安全 。 


15.2.7 AK: Netty 


为 了 改善 Netty 的 各 个 部 分 ， 让 Finagle 以 及 更 加 广泛 的 社区 都 能 够 
从 中 受益 ， 我 们 一 直 在 与 Netty 的 维护 者 密切 合作 出 。 最 近 ，Finagle 的 
内 部 结构 已 经 升级 为 更 加 模块 化 的 结构 ， 为 升级 到 Netty 4 铺 平 了 道路 。 


15.2.8 Twitter 小 结 


Finagle 己 经 取得 了 辉煌 的 成 绩 。 我 们 已 经 想方设法 大 幅度 地 提高 了 
我 们 所 能 够 处 理 的 流量 ， 同 时 也 降低 了 延迟 以 及 硬件 需求 。 例 如 ， 在 将 
我 们 的 API 端 点 从 Ruby 技 术 栈 迁移 到 Finagle 之 后 ， 我 们 看 到 ， 延 迟 从 数 
百 毫秒 下 降 到 了 数 十 毫秒 之 内 ， 同 时 还 将 所 需要 的 机 器 数量 从 3 位 数 减 
少 到 了 个 位 数 。 我 们 新 的 技术 栈 已 经 使 得 我 们 达到 了 新 的 吞吐 量 记 录 。 
在 撰写 本 文 时 ， 我 们 所 记录 的 每 秒 的 推 特 数 是 143 ”199H4。 这 一 数字 对 
于 我 们 的 旧 架 构 来 说 简直 是 难以 想象 的 。 


Finagle 的 诞生 是 为 了 满足 Twitter 横 回 扩展 以 文 持 全 球 数 以 亿 计 的 用 
户 的 需求 ， 而 在 当时 文 撑 数 以 百 万 计 的 用 户 并 保证 服务 在 线 已 然 是 一 项 
艰巨 的 任务 了 。 使 用 Netty 作 为 基础 ， 我 们 能 够 快速 地 设计 和 建造 
Finagle， 以 解决 我 们 的 伸缩 性 难题 。Finagle 和 Netty 处 理 了 Twitter 所 遇 到 
的 每 一 个 请 求 。 














15.3 JN\2 





本 间 深 入 了 解 了 对 于 像 Facebook 以 及 Twitter 这 样 的 大 公司 是 如 何 使 
用 Netty 来 保证 最 高 水 准 的 性 能 以 及 灵活 性 的 。 


e Facebook 的 Nifty 项 目 展示 了 ， 如 何 通 过 提供 上 自 定 义 的 协议 编码 器 以 
及 解码 器 ， 利 用 Netty 来 蔡 换 现 有 的 Thrift 实 现 。 
e Twitter 的 Finagle 展 示 了 ， 如 何 基 于 Netty 来 构建 你 自己 的 高 性 能 框 


架 ， 并 通过 类 似 于 负载 均衡 以 及 故障 转移 这 样 的 特性 来 增强 它 的 。 


我 们 希望 这 里 所 提供 的 案例 研究 ， 能 够 成 为 你 打造 下 一 代 杰 作 的 时 
候 的 信息 和 灵感 的 来 源 。 





[1 本 节 所 表达 的 观点 都 是 本 节 作 者 的 观点 ， 并 不 一 定 反 映 了 该 作者 的 
雇主 的 观点 。 


[2] — PPR A ae Thrift FRE ASIA AN A BZ FY DAE 
http://thrift.apache.org/static/files/thrift-20070401. pdf 找到 . 


[3] 可 以 在 http://thrift.apache.org 找 到 更 多 的 例子 。 
[4] Folly 是 Facebook 的 开源 C++ 公 共 库 : 


https://www.facebook.com/notes/facebook-engineering/folly-the-facebook- 
open-source-library/10150864656793920. 


[5] 有 关 HashedwheelTimer 类 的 更 多 的 信息 ， 参 见 
http://netty.io/4.1/api/io/netty/util/HashedWheel Timer.html. 
[6] 关于 SPDY 的 更 多 信息 参见 


https://github.com/twitter/finagle/tree/master/finagle-spdy。 关于 PostgreSQL 
参见 https://github.com/mairbek/finagle-postgres。 关 于 WebSockets 参 见 
https://github.com/sprsquish/finagle- websocket。 关 于 IRC 参 见 
https://github.com/sprsquish/finagle-irc。 关 于 AWS 参 见 
https://github.com/sclasen/ finagle-aws. 


[7] 有 关 Dapper 的 信息 可 以 在 
http:/research.google.com/pubs/pub36356.html 找 到 。 该 分 布 式 的 跟踪 框架 
是 Zipkin， 可 以 在 https://github.com/twitter/zipkin 找 到 。 


[8] 相关 的 类 可 以 在 https://github.com/twitter/finagle/blob/develop/finagle- 
netty4/src/main/scala/com/twitter/finagle/ 
netty4/transport/ChannelTransport.scala 找 到 。 一 一 译 者 注 

[9] Finagle 的 源 代码 位 于 https://github.com/twitter/finagle。 


[10] 完整 的 源 代码 在 https://github.com/twitter/finagle。 


[11] 这 里 的 Future[Response] 相 当 于 Java 8 中 的 CompletionSstage。 
译 者 注 


[12] 虽然 不 完全 等 价 ， 但 是 可 以 理解 为 Java 8 的 public interface 
Service extends Function>{}. 译 者 注 


[13] “Netty 4 at ‘Twitter: Reduced GC Overhead”: 
https://blog.twitter.com/2013/netty-4-at-twitter-reduced-gc-overhead. 








[14] “New Tweets per second record, and how!”: 
https://blog.twitter.com/2013/new-tweets-per-second-recordand-how o 


附录 “Maven 介 绍 


本 附录 提供 了 对 Apache Maven (http://maven.apache.org/what-is- 
maven.html) 的 基本 介绍 。 在 读 过 之 后 ， 你 应 该 能 够 通过 复 用 本 书 示 例 
中 的 配置 来 启动 你 自己 的 项 目 。 


Maven 是 一 个 强大 的 工具 ， 学 习 的 回报 很 大 。 如 宋 和 希望 了 解 更 多 ， 


你 可 以 在 http:/maven. apache.org 找 到 官方 文档 ， 在 
www.sonatype.com/resources/books 找 到 一 套 极 好 的 免费 的 PDF 格 式 的 
ie 


BNA Maven h tA Bias © FER, RATHEE BAR 
例 项 目 中 的 示例 来 说 明 这 些 基 本 概念 。 


A.1 什么 是 Maven 





Maven 是 一 种 用 来 管理 Java 项 目的 工具 ， 但 不 是 那 种 用 来 管理 资源 
规划 和 调度 的 工具 。 相 反 ， 它 处 理 的 是 管理 一 个 具体 的 项 目 所 涉及 的 各 
种 任务 ， 如 编译 、 测 试 、 打 包 、 文 档 以 及 分 发 。 


Maven 包 括 以 下 的 几 个 部 分 。 


一 组 用 于 处 理 依赖 管理 、 目 录 结 构 以 及 构建 工作 流 的 约定 。 基 于 这 
些 约定 实现 的 标准 化 可 以 极 大 地 简化 开发 过 程 。 例 如 ， 一 个 常用 的 
目录 结构 使 得 开发 者 可 以 更 加 容易 地 跟 上 不 熟悉 的 项 目的 节 委 。 

一 个 用 于 项 目 配 置 的 XML Schema: 项 目 对 象 模型 (Project Object 
Model) ， 简 称 POM 山 。 每 一 个 Maven 项 目 都 拥有 一 个 POM 文 件 
2, RURA 为 pom.xml， 包 含 了 Maven 用 于 管理 该 项 目的 所 有 的 


配置 信息 。 
。 一 个 委托 外 部 组 件 来 执行 项 目 任务 的 插件 架构 。 这 简化 了 更 新 以 及 








扩展 Maven 能 力 的 过 程 。 


构建 和 测试 我 们 的 示例 项 目 只 需要 用 到 Maven 多 种 特性 的 一 个 子 
集 。 这 些 也 是 我 们 将 在 本 附录 中 所 讨论 的 内 容 ， 其 中 不 包括 那些 在 生产 
部 获 中 肯定 需要 用 到 的 特性 。 我 们 将 会 涵盖 的 主题 包括 以 下 内 容 。 








o 基本 概念 : 构件 、 坐 标 以 及 依赖 。 
。 KER LUK Maven ™ H HIRIT (pom.xml) 的 用 法 。 
。 Maven 构 建 的 生命 周期 以 及 插件 。 


A.1.1 安装 和 配置 Maven 

可 以 从 http://maven.apache.org/download.cgi 下 载 适 合 于 你 的 系统 的 
Maven tar.gz 或 者 zip 文 件 。 安 装 非常 简单 : 将 该 归档 内 容 解 压 到 你 选择 
的 任意 文件 夹 〈 我 们 称 之 为 < 安装 目录 >) 中 。 这 将 创建 目录 < 安装 目录 


>\apache-maven-3.3.9D。 


然后 ， 








。 将 环境 变量 M2_HoME 设 置 为 指 癌 < 安装 目录 >\apache-maven-3.3.9， 这 
个 环境 变量 将 会 告诉 Maven 在 哪里 能 找到 它 的 配置 文 
件 ， conf\settings. xml; 
o 将 %M2_HoME%\bin (在 Linux 上 是 ${M2_HOME}/bin) 添加 到 你 的 执行 
路 径 ， 在 这 之 后 ， 在 命令 行 执行 nvn 就 能 运行 Maven T o 
在 编译 和 运行 示例 项 目 时 ， 不 需要 修改 默认 配置 。 在 首次 执行 mvn 
时 ，Maven 会 为 你 创建 本 地 存储 库 外 ， 并 从 Maven 中 央 存 储 库 下 载 基 本 
操作 所 需 的 大 量 JAR 文 件 。 最 后 ， 它 会 下 载 构建 当前 项 目 所 需要 的 依赖 
项 (包括 Netty 的 JAR 包 ) 。 关 于 自 定义 settings.xml 的 详细 信息 可 以 
在 http://maven.apache.org/settings.html 找 到 。 


A.1.2 Maven 的 基本 概念 


在 下 面 的 章节 中 ， 我 们 将 解释 Maven 的 几 个 最 重要 的 概念 。 熟 悉 这 
些 概 念 将 有 助 于 你 理解 POM 文 件 的 各 个 主要 元 素 。 














1. 标准 的 目录 结构 


Maven 定 义 了 一 个 标准 的 项 目 日 录 结 构 六 。 并 不 是 每 种 类 型 的 项 日 
都 需要 Maven 的 所 有 元 素 ， 很 多 都 可 以 在 必要 的 时 候 在 POM 文 件 中 重 
写 。 表 A-1 展 示 了 一 个 基本 的 WAR 项 目 ， 有 别 于 JAR 项 目 ， 它 拥 
有 src/main/webapp 文 件 夹 。 当 Maven 构 建 该 项 目 时 ， 该 目录 (其 中 包含 
WEB-INF 目 录 ) 的 内 容 将 会 被 放置 在 WAR 文 件 的 根 路 径 上 。 位 于 该 文 
件 树 根 部 的 ${project.basedir} 是 一 个 标准 的 Maven 属 性 ， 标 识 了 当前 
项 目的 根 目录 。 


表 A-1 基本 的 项 目 目 录 结 








一 二 属性 文件 、XML schema 等 





一 a Java 源 代码 ， 如 JUnit 测 试 
m 由 构建 过 程 所 创建 的 文件 














2. POM 大 纲 


代码 清单 A-1 是 我 们 的 一 个 示例 项 目的 POM 文 件 的 大 纲 。 只 显示 了 
顶层 的 schema 元 系 。 其 中 的 一 些 也 是 其 他 元 素 的 容器 。 


代码 清单 A-1 POM 文 件 的 大 纲 





<project> -= -- 根 元 素 
<groupId/> 
<artifactId/> =- -- 唯一 地 定义 一 个 Maven 项 目的 值 
<version/> 
<packaging/>  -- 该 项 目 所 产生 的 构件 的 类 型 ， 默认 值 是 jar 


<properties/> =- -- 在 POM 中 所 引用 的 符号 

<dependencies/> =- -- 构建 当前 项 目 所 需要 的 其 他 Maven 项 目 

<build/> ~ -- 构建 该 项 目 所 需要 执行 的 任务 的 配置 

<profiles/> =- -- 为 不 同 的 用 例 自 定 义 POM 的 命名 的 配置 
</project> 


我 们 将 在 本 节 剩 下 的 部 分 中 更 加 详细 地 讨论 这 些 元 素 。 
3. 构件 

任何 可 以 被 Maven 的 坐标 系统 〈 人 参见 接 下 来 的 关于 GAV 坐 标的 讨 
论 ) 唯一 标识 的 对 象 都 是 一 个 Maven 构 件 。 大 多 数 情况 下 ， 构 件 是 构建 
Maven 项 目 所 生成 的 文件 ， 如 JAR。 但 是 ， 只 包含 其 他 POM (该 文件 本 
身 并 不 产生 构件 ) 使 用 的 定义 的 POM 文 件 也 是 Maven 构 件 。 


Maven 构 件 的 类 型 由 其 POM 文 件 的 <packaging> 元 素 指 定 。 最 常用 
的 值 是 pom、jar、ear、war 以 及 maven-plugin。 


4. POM 文 件 的 用 例 
可 以 通过 以 下 的 方式 来 使 用 POM 文 件 。 




















。 默认 的 一 一 用 于 构建 一 个 构件 。 

© 父 POM 一 一 提供 一 个 由 子 项 目 继承 的 单个 配置 信息 源 一 一 声明 这 个 
POM 文 件 作 为 它们 的 <parent> 元 素 的 值 。 

。 聚合 器 一 一 用 于 构建 一 组 声明 为 <modules> 的 项 目 ， 这 些 子 项 目 位 
n 目的 文件 夹 中 ， 每 个 都 包含 有 它 自 己 的 POM 文 


作为 父 POM 或 者 聚合 器 的 POM 文 件 的 <packaging> 元 素 的 值 将 
是 pom。 注 意 ， 一 个 POM 文 件 可 能 同时 提供 两 项 功能 。 


5. GAVAE ES 


POM 和 定义 了 5 种 称 为 坐标 的 元 素 ， 用 于 标识 Maven 构 件 。 首 字母 缩 
写 GAV 指 的 是 必须 始终 指定 的 3 个 坐标 <groupId>、<artifactId> 以 及 
<version> h] H TPE- 

下 面 的 坐标 是 按照 它们 在 坐标 表达 式 中 出 现 的 顺序 列 出 的 。 


(1) <groupId> 是 项 目 或 者 项 目 组 的 全 局 的 唯一 标识 符 。 这 通常 是 
Java 源 代码 中 使 用 的 全 限定 的 Java 包 名 。 例 如 ，io.netty、com.google。 


(2) <artifactId> 用 于 标识 和 某 个 <groupId> 相 关 的 不 同 的 构件 。 
例如 ，netty-all、netty-handler。 


(3) <type> 是 指 和 项 目 相 关 的 主要 构件 的 类 型 (对 应 于 构件 的 
POM 文 件 中 的 <packaging> 值 )。 它 的 默认 值 是 jar。 例 


UW, pom, war, earo 


(4) <version> 标 识 了 构件 的 版 本 。 例 如 ，1.1、2.0- 
SNAPSHOT, 4.1.9.Final. 


(5) <classifier> 用 于 区 分 属于 相同 的 POM 但 是 却 被 以 不 同 的 方 
式 构建 的 构件 。 例 如 ，javadoc、sources、jdk16、jdk17。 


一 个 完整 的 坐标 表达 式 具 有 如 下 格式 : 
artifactId:groupId:packaging:version:classifier 


下 面 的 GAV 坐 标 标识 了 包含 所 有 Netty 组 件 的 JAR: 


io.netty:netty-all:4.1.9.Final 


POM 文 件 必 须 声 明 它 所 管理 的 构件 的 坐标 。 一 个 具有 如 下 坐标 的 项 
H: 


























<groupId>io.netty</groupId> 
<artifactId>netty-all</artifactId> 


<version>4.1.9.Final</version> 
<packaging>jar</packaging> 


将 会 产生 一 个 具有 以 下 格式 的 名 称 的 构件 : 
<artifactId>-<version>.<packaging> 
在 这 种 情况 下 ， 它 将 产生 这 个 构件 : 
netty-all-4.1.9.Final.jar 
6. 依赖 

项 目的 依赖 是 指 编译 和 执行 它 所 需要 的 外 部 构件 。 在 大 多 数 情况 
下 ， 你 的 项 目的 依赖 项 也 会 有 它 自 己 的 依赖 。 我 们 称 这 些 依赖 为 你 的 项 


目的 传递 依赖 。 一 个 复杂 的 项 目 可 能 会 有 一 个 深层 级 的 依赖 树 ，Maven 
提供 了 各 种 用 于 帮助 理解 和 管理 它 的 工具 。 癌 


MaventJ<dependency> 815 HH ÆPOM H <dependencies> Jt% F: 





<dependencies> 

<dependency> 
<groupId/> 
<artifactId/> 
<version/> 
<type/> 
<scope/> 
<systemPath/> 

</dependency> 


</dependencies> 





在 <dependency> 声 明 中 ，GAV 坐 标 总 是 必 不 可 少 的 团 。type 以 及 
scope 元 素 对 于 那些 值 不 分 别 是 默认 值 jar 和 compile 的 依赖 来 说 也 是 必需 
的 。 


下 面 的 代码 示例 是 从 我 们 示例 项 目的 顶级 POM 中 摘录 的 。 注 意 第 一 
个 条 目 ， 它 声明 了 对 我 们 先前 提 到 的 Netty JAR 的 依赖 。 
<dependencies> 


<dependency> 
<groupId>io,netty<groupId> 


<artifactId>netty-all</artifactId> 
<version>4.1.9.Final</version> 

</dependency> 

<dependency> 
<groupId>nia</groupId> 
<artifactId>util</artifactId> 
<version>1.0-SNAPSHOT</version> 

</dependency> 

<dependency> 
<groupId>com. google. protobuf</groupId> 
<artifactId>protobuf -java</artifactId> 
<version>2.5.0</version> 

</dependency> 

<dependency> 
<groupId>org.eclipse.jetty.npn</groupId> 
<artifactId>npn-api</artifactId>= 
<version>1.1.0.Vv20120525</version> 

</dependency> 

<dependency> 
<groupId>junit</grouplId> 
<artifactId>junit</artifactId> 
<version>4.11</version> 
<scope>test</scope> 

</dependency> 

</dependencies> 


<scope>Jt a H URAA ME. 


e compile— 编译 和 执行 需要 的 《默认 值 ) 。 








e runtime 只 有 执行 需要 。 
e optional 不 被 引用 了 这 个 项 目 所 产生 的 构件 的 其 他 项 目 ， 视 为 
传递 依赖 。 





e provided 不 会 被 包含 在 由 这 个 POM 产 生 的 WAR 文 件 的 
WEB_INF/lib 目 录 中 。 





。test 一 只 有 编译 和 测试 的 执行 需要 。 
。inport 一 这 将 在 后 面 的 “依赖 管理 ”一 节 进行 讨论 。 








<systemPath> 元 素 用 来 指定 文件 系统 中 的 绝对 位 置 。 


Maven 用 来 管理 项 目 依赖 的 方式 ， 包 括 了 一 个 用 来 存储 和 获取 这 些 
依赖 的 存储 库 协 议 ， 已 经 彻底 地 改变 了 在 项 目 之 间 共 孚 JAR 文 件 的 方 
式 ， 从 而 有 效 地 消除 了 项 目的 中 每 个 开发 人 员 都 维护 一 个 私有 lb 目录 时 














经 常会 出 现 的 问题 。 
7. 依赖 管理 


POM 的 <dependencyManagement> 元 素 包 含 可 以 被 其 他 项 目 使 用 的 
<dependency> 声 明 。 这 样 的 POM 的 子 项 目 将 会 自动 继承 这 些 声明 。 其 他 
项 目 可 以 通过 使 用 <scope> 元 素 的 import 值 来 导入 它们 (将 在 稍 后 讨 


W) 。 


引用 了 <dependencyManagement> 元 素 的 项 目 可 以 使 用 它 所 声明 的 依 
赖 ， 而 不 需要 指定 它们 的 <version> 坐 标 。 如 果 <dependencyManagement> 


中 的 <version> 在 稍 后 有 所 改变 ， 则 它 将 被 所 有 引用 它 的 POM 十 起 。 


在 下 面 的 示例 中 ， 所 使 用 的 Netty 版 本 是 在 POM 的 <properties> 部 分 
中 定义 ， 在 <dependencyManagement> 中 引用 的 。 





<properties> 
<netty.version>4.1.9</netty.version> 


</properties> 
<dependencyManagement> 
<dependencies> 
<dependency> 
<groupId>io.netty</groupId> 
<artifactId>netty-all</artifactId> 
<version>${netty.version}</version> 
</dependency> 
</dependencies> 


</dependencyManagement> 


对 于 这 种 使 用 场景 ， 依 赖 的 <scope> 元 素 有 一 个 特殊 的 import 值 : 
它 将 把 外 部 POM 〈 没 有 被 声明 为 <parent>) 的 <dependencyManagement> 
元 素 的 内 容 导 入 到 当前 POM 的 <dependency Management> 元 素 中 。 


8. 构建 的 生命 周期 
Maven 构 建 的 生命 周期 是 一 个 明确 定义 的 用 于 构建 和 分 发 构件 的 过 


程 。 有 3 个 内 置 的 构建 生命 周期 : clean、defaulLlt 和 site。 我 们 将 只 讨论 
其 中 的 前 两 个 ， 分 别 用 于 清理 和 分 发 项 目 。 


一 个 构建 的 生命 周期 由 一 系列 的 阶段 所 组 成 。 下 面 是 默认 的 构建 生 
命 周 期 的 各 个 阶段 的 一 个 部 分 清单 。 














validate 检查 项 目 是 否 正 确 ， 所 有 必需 的 信息 是 否 已 经 束 绪 。 
process-sources 处 理 源 代码 ， 如 过 滤 任 何 值 。 
compile 编译 项 目的 源 代 码 。 


process-test-resources 复制 并 处 理 资 源 到 测试 目标 目录 中 。 
test-compile 将 测试 源 代 码 编 译 到 测试 目标 目录 中 。 




















test 一 一 使 用 合适 的 单元 测试 框架 测试 编译 的 源 代 码 。 
package 一 一 将 编译 的 代码 打包 为 它 的 可 分 发 格式 ， 如 JAR。 
integration-test Ath FSG BR EL R E BI 7S Ws ITE al) 
试 的 环境 中 。 

运行 任何 的 检查 以 验证 软件 包 是 否 有 效 ， 并 且 符 合 质量 
示 准 。 

。 install 一 一 将 软件 包 安 装 到 本 地 存储 库 中 ， 在 那里 其 他 本 地 构建 








项 目 可 以 将 它 引用 为 依赖 。 

deploy 一 一 将 最 终 的 构件 上 传 到 远程 存储 库 ， 以 与 其 他 开 及 人 员 和 
项 目 共享 。 

执行 这 些 阶段 中 的 一 个 阶段 将 会 调用 所 有 前 面 的 阶段 。 例 如 : 


mvn package 


将 会 执行 validate、compile 以 及 test， 并 随后 将 该 构件 组 装 到 该 项 目的 
目标 目录 中 。 

执行 
mvn clean install 


将 会 首先 移 除 所 有 先前 的 构建 所 创建 的 结果 。 然 后 ， 它 将 会 运行 所 有 到 
该 阶段 的 默认 阶段 ， 并 且 包 括 将 该 构件 放置 到 你 的 本 地 存储 库 的 文件 系 


= 








虽然 我 们 的 示例 项 目 可 以 通过 这 些 简单 的 命令 来 构建 ， 但 是 任何 使 
用 Maven 的 重要 工作 都 需要 详细 了 解构 建生 命 周期 的 各 个 阶段 。D 


9. 插件 


虽然 Maven 协 调 了 所 有 构建 生命 周期 阶段 的 执行 ， 但 是 它 并 没有 直 
接 实 现 它们 ， 相反 ， 它 将 它们 委托 给 了 插件 QH**， 这 些 插件 是 maven- 
plugin 类 型 的 构件 〈 打 包 为 JAR 文 件 ) 。Apache Maven 项 目 为 标准 构建 
生命 周期 所 定义 的 所 有 任务 都 提供 了 插件 ， 更 多 的 是 由 第 三 方 生 产 的 ， 
用 于 处 理 各 种 自 定 义 的 任务 。 


插件 可 能 拥有 多 个 内 部 步骤 ， 或 者 目标 ， 其 也 可 以 被 单独 调用 。 例 
如 ， 在 一 个 JAR 项 目 中 ， 默认 的 构建 生命 周期 由 maven-jar-plugin 处 
eee ER ON REE Ade, on 
A-2FITAR o 


KA-2 阶段、 插件 以 及 目标 








在 我 们 的 示例 项 目 中 ， 我 们 使 用 了 下 面 的 第 三 方 插件 来 从 命令 行 执 
行 我 们 的 项 目 。 注 意 插 件 的 声明 ， 它 被 打包 为 JAR 包 ， 使 用 了 和 
<dependency> 的 GAV 坐 标 相 同 的 GAV 坐 标 。 


<plugin> 
<grouplId>org.codehaus.mojo</groupId> 
<artifactId>exec-maven-plugin</artifactId> 
<version>1.2.1</version> 

</plugin> 


10. 插件 管理 


如 同 <dependencyManagement>，<pluginManagement> 声 明了 其 他 
POM 可 以 使 用 的 信息 ， 如 代码 清单 A-2 所 示 。 但 是 这 只 适用 于 子 POM， 
因为 对 于 插件 来 说 ， 没 有 导入 声明 。 和 依赖 一 样 ，<version> 坐 标 是 继 
承 的 。 


代码 清单 A-2 pluginManagement 


<build> 
<pluginManagement> 
<plugins> 
<plugin> 
<artifactId>maven-compiler -plugin</artifactId> 
<version>3.2</version> 
<configuration> 
<source>1.7</source> 
<target>1.7</target> 
</configuration> 
</plugin> 
<plugin> 
<groupId>org.codehaus.mojo</groupId> 
<artifactId>exec-maven-plugin</artifactId> 
<version>1.2.1</version> 
</plugin> 
</plugins> 
</pluginManagement> 
</build> 


代码 清 单 A-3 展 示 了 代码 清单 A-2 中 的 POM 放 段 的 子 POM 是 如 何 全 
用 其 父 POM 的 <pluginManagement> 配 置 的 ， 它 只 引用 了 其 构建 所 需 的 插 
件 。 子 POM 还 可 以 重 写 它 需要 自 定义 的 任何 插件 配置 。 


关于 Maven 插 件 





在 声明 由 Maven 项 目 生 成 的 插件 时 ， 可 以 省 


H%groupiId (org.apache.maven.plugins) ， 如 代码 清单 A-2 中 的 
maven-compiler-plugin 的 声明 中 所 示 。 此 外 ， 保 留 了 以 “maven” 
头 的 artifactId， 仅 供 Maven 项 目 使 用 。 例 如 ， 第 三 方 可 以 提供 一 
个 artifactId 为 exec-maven-plugin 的 插件 ， 但 是 不 能 为 maven- 
exec-plugin. 


POM 定 义 了 一 个 大 多 数 择 件 都 需要 遵从 的 插件 配置 格式 。 


更 多 的 信息 参见 Maven 的 “插件 配置 指 


Fa” C http://maven.apache.org/guides/mini/guide-configuring- 
plugins.html) 。 这 将 帮助 你 设置 你 想 要 在 上 自己 的 项 目 中 使 用 的 任何 
插件 。 


代码 清单 A-3 ”插件 继承 


<build> 
<plugins> 
<plugin> 
<artifactId>maven-compiler -plugin</artifactId> 
</plugin> 
<plugin> 
<groupId>org.codehaus.mojo</groupId> 
<artifactId>exec-maven-plugin</artifactId> 
</plugin> 
</plugins> 
</build> 


11. 配置 文件 


配置 文件 〈 在 <profiles> 中 定义 ) 是 一 组 自 定 义 的 POM 元 素 ， 可 以 
通过 自动 或 者 手动 启用 (激活 〉 来 改变 POM 的 行为 。 例 如 ， 你 可 以 定义 
一 个 配置 文件 ， 它 将 根据 JDK 版 本 、 操 作 系 统 或 者 日 标 部 署 环境 (如 开 
发 、 测 斌 或 者 生产 环境 ) 来 设置 构建 参数 。 

可 以 通过 命令 行 的 -Pp 标志 来 显 式 地 引用 配置 文件 。 下 面 的 例子 将 激 
活 一 个 将 PoM 目 定义 为 使 用 JDK1.6 的 配置 文件 。 


mvn -P jdki6 clean install 


12. 存储 库 
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。 远程 存储 库 是 一 个 Maven 从 其 下 载 POM 文 件 中 所 引用 的 依赖 的 服 
务 。 如 果 你 有 上 传 权限 ， 那 么 这 些 依 赖 中 可 能 也 会 包含 由 你 自己 的 
项 目 所 产生 的 构件 。 大 量 开 放 源 代码 的 Maven 项 目 EE Netty) 都 
将 它们 的 构件 发 布 到 可 以 公开 访问 的 Maven 存 储 库 。 

。 本 地 存储 库 是 一 个 本 地 的 目录 ， 其 包含 从 远程 存储 库 下 载 的 构件 ， 
ie ee ee 

F, H: 


C:\Users\maw\.m2\repository 


Maven {F fig Zz WAH H RKE HGAVE R, WE] Javai sE H 
包 名 一 样 。 例 如 ， 在 Maven 下 载 了 下 面 的 依赖 之 后 : 


<dependency> 
<groupId>io.netty</groupId> 
<artifactId>netty-all</artifactiId> 
<version>4.1.9.Final</version> 











</dependency> 
将 会 在 本 地 存储 库 中 找到 以 下 内 容 : 
.m2\repository 
|---\io 
|---\netty 
|---\netty-all 


|---\4.1.9.Final 
netty-all-4.1.9.Final.jar 
netty-all-4.1.9.Final.jar.sha1 
netty-all-4.1.9.Final.pom 
netty-all-4.1.9.Final.pom.sha1i 
_maven.repositories 


13. 快照 和 发 布 

远程 存储 库 通 常会 为 正在 开发 的 构件 ， 以 及 那些 稳定 发 布 或 者 生产 
ee el ae ee aa ia aE 
子 储 库 。 


一 个 <version> 值 由 -SNAPSHOT 结 尾 的 构件 将 被 认为 是 还 没有 发 布 





的 。 这 种 构件 可 以 重复 地 使 用 相同 的 <version> 值 被 上 传 到 存储 库 。 
次 它 都 会 被 分 配 一 个 唯一 的 时 间 戳 。 当 项 目 检 索 构 件 时 ， 下 载 的 是 最 新 
实例 。 


一 个 <version> 值 不 具有 -SNAPSHOT 后 级 的 构件 将 会 被 认为 是 一 个 
发 布 版 本 。 通 常 ， 存 储 库 策略 只 人 允 某 一 特定 的 发 布 版 本 上 传 一 次 。 


当 构 建 一 个 具有 SNAPSHOT 依 赖 的 项 目 时 ，Maven 将 检查 本 地 存储 
库 中 是 否 有 对 应 的 副本 。 如 果 没 有 ， 它 将 尝试 从 指定 的 远程 存储 库 中 检 
索 ， 在 这 种 情况 下 ， 它 将 接收 到 具有 最 新 时 间 惟 的 构件 。 如 果 本 地 的 确 
有 这 个 构件 ， 并 且 当 前 构建 也 是 这 一 天 中 的 第 一 个 ， 那 么 Maven 将 默认 
尝试 更 新 该 本 地 副本 。 这 个 行为 可 以 通过 使 用 Maven 配 置 文件 
Csettings.xml) 中 的 配置 或 者 命令 行 标志 来 进行 配置 。 


A.2 POM 示 例 











在 这 一 节 中 ， 我 们 将 通过 介绍 一 些 POM 示 例 来 说 明 我 们 在 前 一 节 中 
所 讨论 的 主题 。 


A.2.1 一 个 项 目的 POM 


代码 清单 A-4 展 示 了 一 个 POM， 其 为 一 个 简单 的 Netty 项 目 创建 了 一 
个 JAR 文 件 。 


代码 清单 A-4 独立 的 pom.xml 


<?xml version="1.0" encoding="IS0-8859-15"?> 

<project xmlns="http://maven.apache.org/POM/4.0.0" 
xmins:xsi="http://www.w3.org/2001/XMLSchema- instance" 
xSi:schemaLocation="http://maven.apache.org/POM/4.0.0 
http://maven.apache.org/maven-v4_0_0.xsd"> 





<modelVersion>4.0.0</modelVersion> =- -- 该 项 目的 GAV 坐标 


<groupId>com.example</groupId> 
<artifactId>myproject</artifactId> 
<version>1.0-SNAPSHOT</version> 


<packaging>jar</packaging> =- -- 该 项 目 产生 的 构件 将 是 一 个 JAR 文 件 
(默认 值 ) 





<name>My Jar Project</name> 


<dependencies> 
<dependency> =- -- 这 个 POM 只 声明 了 Netty JAR 作 为 依赖 ， 一 个 典型 
的 Maven 项 目 会 有 许多 依赖 
<groupId>io.netty</groupId> 
<artifactIid>netty-all</artifactId> 
<version>4.1.9.Final</version> 
</dependency> 
</dependencies> 


<build> =- -- <build> 部 分 声明 了 用 于 执行 构建 任务 的 插件 。 我 们 只 自 定义 了 
编译 器 插件 ， 对 于 其 他 的 插件 ， 我 们 接受 默认 值 
<plugins> 
<plugin> 
<groupId>org.apache.maven.plugins</groupId> 
<artifactId>maven-compiler -plugin</artifactId> 
<version>3.2</version> 
<configuration> 
<source>1.7</source> 
<target>1.7</target> 
</configuration> 
</plugin> 
</plugins> 
</build> 
</project> 


这 个 POM 创 建 的 构件 将 是 一 个 JAR 文 件 ， 其 中 包含 从 项 目的 Java 源 
代码 编译 而 来 的 类 。 在 编译 的 过 程 中 ， 被 声明 为 依赖 的 Netty JARS 
被 添加 到 cLAssPATH 中 。 


下 面 是 使 用 这 个 POM 时 会 用 到 的 基本 Maven 命 令 。 























。 在 项 目的 构建 目录 (“target”〉 中 创建 JAR 文 件 : 


mvn package 


。 将 该 JAR 文 件 存储 到 本 地 存储 库 中 : 


mvn install 


。 将 该 JAR 文 件 发 布 到 全 局 存储 库 中 如果 已 经 定义 了 一 个 ) : 


mvn deploy 
A.2.2 POM 的 继承 和 聚合 


正如 我 们 之 前 所 提 到 的 ， 有 几 种 使 用 POM 的 方式 。 在 这 里 ， 我 们 将 
讨论 它 作为 父 POM 或 者 聚合 器 的 用 法 。 


1，POM 继 承 
POM 文 件 可 能 包含 子 项 目 要 继承 (并 可 能 重 写 ) 的 信息 。 
2. POMS 


聚合 器 POM 会 构建 一 个 或 者 多 个 子 项 目 ， 这 些 子 项 目 驻 留 在 该 
POM 所 在 目录 的 子 目 录 中 。 子 项 目 ， 或 者 <modules> 标 签 ， 是 由 它们 的 
目录 名 标识 的 : 


<modules> 
<module>Server</module> 
<module>Client</module> 
</modules> 


当 构 建 子 项 目 时 ，Maven 将 创建 一 个 reactor， 它 将 计算 存在 于 它们 
之 间 的 任何 依赖 ， 以 确定 它们 必须 遵照 的 构建 顺序 。 注 意 ， 聚 合 器 POM 
不 一 定 是 它 声明 为 模块 的 项 目的 父 POM。 (每 个 子 项 目 都 可 以 声明 一 个 
不 同 POM 作 为 它 的 <parent> 元 素 的 值 。) 

用 于 第 2 章 的 Echo 客户 端 /服务 器 项 目的 POM 既 是 一 个 父 POM， 也 是 
一 个 聚合 器 出 。 示 例 代码 根 目录 下 的 chapter2 目 录 ， 包 含 了 代码 清单 A- 
5 中 所 展示 的 内 容 。 


代码 清单 A-5 ”chapter2 目 录 树 














chapter2 
|---pom.xml - -- 父 级 /聚合 器 POM 
|---\Client ©- -- 客户 端 模块 
| ---pom. xml 
|---\src 


|---\main 


|---\java 


|---\nia 
|---\chapter2 
|---\echoclient 
EchoClient.java 
EchoClientHandler.java 
|---\Server ~ -- 服务 器 模块 
| ---pom. xml 
|---\srec 
| ---\main 
|---\java 
|---\nia 
|---\chapter2 


| ---\echoserver 
EchoServer.java 
EchoServerHandler.java 


代码 清单 A-6 所 示 的 根 级 POM 的 打包 类 型 是 <zpom>， 这 表示 它 本 和 丑 并 
不 产生 构件 。 相 反 ， 它 会 为 将 它 声 明 为 <parent> 的 项 目 提 供 配 置信 息 ， 
如 该 Client 和 Server 项 目 。 它 也 是 一 个 聚合 器 ， 这 意味 着 你 可 以 通过 在 
chapter2 目 录 中 运行 nvn install 来 构建 它 的 <modules> 中 所 定义 的 模块 。 


代码 清单 A-6 ” 父 级 和 聚合 器 POM: echo-parent 





<project> 
<modelVersion>4.0.0</modelVersion> 


<parent> « -- <parent> 声 明了 samples-parentPOM 作为 这 个 POM 的 父 
POM 
<groupId>nia</groupId> 
<artifactId>nia-samples-parent</artifactId> 
<version>1.0-SNAPSHOT</version> 
</parent> 


<artifactId>chapter2</artifactId> 
<packaging>pom</packaging> 
<name>2. Echo Client and Server</name> 








<modules> -~ -- <modules> 声 明了 父 POM 下 的 目录 ， 其 中 包含 将 由 这 个 
POM 来 构建 的 Maven 项 目 
<module>Client</module> 
<module>Server</module> 
</modules> 











<properties> =- -- <property> 值 可 以 通过 在 命令 行 上 使 用 Java 系统 属性 
(-D) 进行 重 写 。 属 性 由 子 项 目 继承 























<echo-server.hostname>lLocalhost</echo-server.hostname> 
<echo-server.port>9999</echo-server.port> 
</properties> 

















<dependencies> =- -- POM 的 <dependencies> 元 素 由 子 项 目 继承 
<dependency> 
<groupId>io.netty</groupId> 
<artifactId>netty-all</artifactId> 
</dependency> 
</dependencies> 








<build> 
<plugins> =- -- POM 的 <pLugins> 元 素 由 子 项 目 继承 
<plugin> 
<artifactId>maven-compiler -plugin</artifactId> 
</plugin> 
<plugin> 
<artifactId>maven-failsafe-plugin</artifactId> 
</plugin> 
<plugin> 
<artifactId>maven-surefire-plugin</artifactId> 
</plugin> 
<plugin> 
<groupId>org.codehaus .mojo</groupId> 
<artifactId>exec-maven-plugin</artifactId> 
</plugin> 
</plugins> 
</build> 
</project> 


得 益 于 Maven 对 于 继承 的 支持 ， 该 Server 和 Client 项 目的 POM 并 没有 
太 多 的 事情 要 做 。 代 码 清单 A-7 展 示 了 该 Server 项 目的 POM。 (该 Client 
项 目的 POM 几 乎 是 完全 相同 的 。) 


代码 清单 A-7 Echo- 服 务 器 项 目的 POM 


<project> ~ -- <parent> 声 明了 父 POM 
<parent> 
<groupId>nia</groupId> 
<artifactId>chapter2</artifactId> 
<version>1.0-SNAPSHOT</version> 
</parent> 























<artifactId>echo-server</artifactId> - -- <artifactId> 必 须 声 
明 ， 因 为 对 于 该 子 项 目 来 说 它 是 唯一 的 。<groupId> 和 <version>， 如 果 没 有 被 定义 则 
从 父 POM 继承 











<build> 





<plugins> -~ -- exec-maven-plugin 插件 可 以 执行 Maven 命令 
行 的 任意 命令 ; 在 这 里 ， 我 们 用 它 来 运行 Echo 服务 器 
<plugin> 


<groupId>org.codehaus .mojo</groupId> 
<artifactId>exec-maven-plugin</artifactId> 
<executions> 
<execution> 
<id>run-server</id> 
<goals> 
<goal>java</goal> 
</goals> 
</execution> 
</executions> 
<configuration> 
<mainClass>nia.echo.EchoServer</mainClass> 
<arguments> 
<argument>${echo-server.port}</argument> 
</arguments> 
</configuration> 
</plugin> 
</plugins> 
</build> 
</project> 


这 个 POM 非 常 简短 ， 因 为 它 从 它 的 父 POM 和 祖父 PEOM (甚至 还 有 
一 个 曾祖 父 级 别 的 POM 存 在 一 一 Maven Super POM) 那里 继承 了 非常 多 
的 信息 。 注 意 ， 例 如 ，s$f{fecho-server .port} 属 性 的 使 用 ， 其 继承 自 父 
POM. 


Maven 执 行 的 POM， 在 组 装 了 所 有 的 继承 信息 并 应 用 了 所 有 的 活动 
配置 文件 之 后 ， 被 称 为 “有 效 POM”。 要 查看 它 ， 请 在 任何 POM 文 件 所 
在 的 目录 中 执行 下 面 的 Maven 命 令 : 


mvn help:effective-pom 


A.3 Maven 命 令 行 


mvn 命 令 的 语法 如 下 : 


mvn [options] [<goal(s)>] [<phase(s)>] 


有 关 其 用 法 的 详细 信息 ， 以 及 有 关 我 们 在 这 个 附录 中 所 讨论 的 许多 
主题 的 更 多 信息 ， 参 见 Sonatype 的 《Maven: The Complete Reference) , 
这 是 一 个 很 好 的 资源 。 

表 A-3 展 示 了 mvn 的 命令 行 选项 ， 这 些 选项 可 以 通过 执行 。 
mvn -help 
来 显示 。 


表 A-3 ”mvn 的 命令 行 参数 












































oe le 只 是 为 了 保持 向 后 的 兼容 性 
plugin-updates 





地 
强制 使 用 备用 的 POM 文 件 〈 或 者 包含 ww ma 的 目录 ) 






master-password 
| | 
密 服务 器 密码 
带 或 者 包含 pon.xm 的 目 








osu) tearm 允许 所 有 不 受 影响 的 构建 继续 进行 
| 首次 失败 便 停止 构建 
不 管 项 目的 结果 如 何 ， 都 决 不 让 构建 失败 





-gs, --global- 全 局 设置 文件 的 备用 路 径 


Settings <arg> 


所 有 构建 输出 的 日 志文 件 的 位 置 








-11r, - -legacy- 使 用 Maven2 的 遗留 本 地 存储 库 (Legacy Local Repository) 行为 ;也 就 是 说 ， 
no Loy 不 使 用 _remote.repositorieso 也 可 以 通过 使 用 -omaven.legacyLocalRepo=true .激活 


不 递归 到 子 项 目 中 


















-rnamagin | 无 效 ， 只 是 为 了 保持 向 后 的 兼容 性 


registry 








-npu --no-plugin- 无效， 只 是 为 了 保持 向 后 的 兼容 性 


updates 


-nsu, --no-snapshot- 取消 快照 更 新 


updates 


脱 机 工作 














_ ra 
















Jprofiles <arg> | <arg> 


owen fous 分 隔 的 指定 的 reactor 项 目 ， 而 不 是 所 有 项 目 。 项 目 可 以 通 
sarg 过 [erouprdl:artifactrd 或 者 它 的 相对 路 径 来 指定 

po pee 只 显示 错误 

用 户 工具 链 文件 的 备用 路 径 

制 检 查 缺 少 的 发 布 ， 并 更 新 远程 存储 库 上 的 快照 


生成 执行 调试 输出 










































































A.4 小 结 


在 本 附录 中 ， 我 们 介绍 了 Apache Maven， 涵 盖 了 它 的 基本 概念 和 主 
要 的 用 例 。 我 们 通 过 本 书 示例 项 目 中 的 例子 说 明了 这 一 切 。 


我 们 目标 是 帮助 你 更 好 地 理解 这 些 项 目的 构建 方式 ， 并 为 独立 开发 
提供 了 一 个 起 点 。 





[1] Maven™ H, “What is a POM? ”: 
http://maven.apache.org/guides/introduction/introduction-tothe-pom.html. 


[2] #Ehttp://maven.apache.org/ref/3.3.9/maven-model/maven.html4 KF 
POM 的 详细 描述 。 


[3] 在 本 书 中 文 版 出 版 时 ，Maven 的 最 新 版 本 是 3.3.9。 





[4] 在 默认 情况 下 ， 这 是 你 当前 操作 系统 的 HOME 目录 下 
的 .m2/repository 目 录 。 
[5] 有 关 标 准 目录 结构 的 优点 ， 参 考 


http://maven.apache.org/guides/introduction/introductionto-the-standard- 
directory-layout.html. 


[6] 有 关 SNAPSHOT 构 件 的 更 多 信息 参见 本 节 后 面 关 于 “快照 和 发 布 ” 的 


讨论 。 


[7] 例如 ， 在 拥有 POM 文 件 的 项 目 目录 中 ， 在 命令 行 执 行 “mvn 


dependency:tree” - 


[8] 管理 依赖 项 : http://maven.apache.org/guides/introduction/introduction- 
to-dependencymechanism.html. 


[9] 参见 后 面 的 “依赖 管理 ?小 节 。 


[10] “Introduction to the Build Lifecycle”: 
http://maven.apache.org/guides/introduction/introduction-to- 
thelifecycle.html. 


[11] “Available Plugins”: http://maven.apache.org/plugins/index.html. 


[12] #4 http://maven.apache.org/guides/introduction/introduction-to- 
repositories. html. 


[13] 它 也 是 它 的 上 级 目录 中 的 nia-samples-parent POM 的 一 个 子 POM， 继 
承 了 其 元 素 的 值 ， 并 传递 给 了 它 自 己 的 子 项 目 。 


[14] 参见 http://books.sonatype.com/mvnref-book/pdf/mvnref-pdf.pdf。 


欢迎 来 到 异步 社区 ! 


异步 社区 的 来 历 


异步 社区 (www.epubit.com.cm) 是 人 民 邮 电 出 版 社 旗 下 IT 专业 图 书 旗 
舰 社区 ， 于 2015 年 8 月 上 线 运营 。 


异步 社区 依托 于 人 民 邮 电 出 版 社 20 余 年 的 开 专 业 优 质 出 版 资源 和 编 
辑 策 划 团 队 ， 打 造 传统 出 版 与 电子 出 版 和 目 出 版 结合 、 纸 质 书 与 电子 书 
结合 、 传 统 印 刷 与 POD 按 需 印 刷 结 合 的 出 版 平台 ， 提 供 最 新 技术 信息 ， 
为 作者 和 读者 打造 交流 互动 的 平台 。 
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免费 电子 书 


Free eBook 


Write Pei Us 


Pythoni 3—7 。 贝 叶 斯 方法 — 机 器 学 习 项 目 开 发 安 战 DOs: 统计 建 模 
烈 分 析 核 心得 法 与 由 时 的 Python 学 习 法 


社区 里 都 有 什么 ? 




















购买 图 书 


我 们 出 版 的 图 书 涵盖 主流 I 技术 ， 在 编程 语言 、Web 技 术 、 数 据 科 
学 等 领域 有 众多 经 典 畅 销 图 书 。 社 区 现 已 上 线 图 书 1000 余 种 ， 电 子 书 
400 多 种 ， 部 分 新 书 实现 纸 书 、 电 子 书 同步 出 版 。 我 们 还 会 定期 发 布 新 
书 书 讯 。 





下 载 资 源 
社区 内 提供 随 书 附 赠 的 资源 ， 如 书 中 的 案例 或 程序 源 代 码 。 


另外 ， 社 区 还 提供 了 大 量 的 免费 电子 书 ， 只 要 注册 成 为 社区 用 户 就 
可 以 免费 下 载 。 


与 作 译 者 互动 

很 多 图 书 的 作 译 者 已 经 入 驻 社 区 ， 您 可 以 关注 他 们 ， 咨 询 技术 问 
题 ， 可 以 阅读 不 断 更 新 的 技术 文章 ， 听 作 译 者 和 编辑 畅 聊 好 书 背 后 有 趣 
的 故事 ， 还 可 以 参与 社区 的 作者 访谈 栏目 ， 回 您 关注 的 作者 提出 采访 题 
Re 


灵活 优惠 的 购书 





您 可 以 方便 地 下 单 购买 纸 质 图 书 或 电子 图 书 ， 纸 质 图 书 直 接 从 人 民 
邮电 出 版 社 书 库 发 货 ， 电 子 书 提 供 多 种 阅读 格式 。 


对 于 重 磅 新 书 ， 社 区 提供 预 售 和 新 书 首发 服务 ， 用 户 可 以 第 一 时 间 
买 到 心仪 的 新 书 。 


用 户 帐 户 中 的 积分 可 以 用 于 购书 优惠 。100 积 分 =1 元 ， 购 买 图 书 
时 ， 在 ”IE 里 填 入 可 使 用 的 积分 数值 ， 即 可 扣 减 相应 金额 。 


特别 优惠 


购买 本 电子 书 的 读者 专 享 异 步 社区 优惠 券 。 使 用 方法 : 注册 
成 为 社区 用 户 ， 在 下 单 购 书 时 输入 “57AWG”， 然 后 点 击 “ 使 用 优惠 
iy”, 即 可 享受 电子 书 8 折 优惠 (本 优惠 券 只 可 使 用 一 次 )。 


纸 电 图 书 组 合 购买 


社区 独家 提供 纸 质 图 书 和 电子 书 组 合 购买 方式 ， 价 格 优惠 ， 一 次 购 
买 ， 多 种 阅读 选择 。 
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社区 里 还 可 以 做 什么 


提交 勘误 


您 可 以 在 图 书页 面 下 方 提交 勘误 ， 每 条 勘误 被 确认 后 可 以 获得 100 
积分 。 热 心 勘 误 的 读者 还 有 机 会 参与 书稿 的 审 校 和 翻译 工作 。 


写作 

社区 提供 基于 Markdown 的 写作 环境 ， 喜 欢 写 作 的 您 可 以 在 此 一 试 
身手 ， 在 社区 里 分 享 您 的 技术 心得 和 读书 体会 ， 更 可 以 体验 上 自 出 版 的 乐 
趣 ， 轻 松 实现 出 版 的 梦想 。 


如 条 成 为 社区 认证 作 译 者 ， 还 可 以 享受 异步 社区 提供 的 作者 专 孕 特 





色 服 务 。 

会 议 活动 早 知 道 
您 可 以 掌握 IT 圈 的 技术 会 议 信息 ， 更 有 机 会 免费 获 赠 大 会 门票 。 
加 入 异步 


扫描 任意 二 维 码 都 能 找到 我 们 : 





异步 社区 





微 信服 务 号 

















QQ 群 : 436746675 
社区 网 址 : www.epubit.com.cn 


官方 微 信 : 异步 社区 
官方 微 博 : @ 人 邮 寞 步 社 区 ，@ 人 民 邮 电 出 版 社 -信息 技术 分 社 
投稿 用 咨询 : contact@epubit.com.cn 


